robots.txtとは
クローラに対してファイルへのアクセス許可・不許可を示すもの。
Robots Exclusion Protocol（REP）という規格で定められている。
どこに作成するか
最上位ディレクトリ
例）https://www.example.com/ → https://www.example.com/robots.txt
書き方を簡単に
User-agent:
クライアントのタイプを指定したもの
Disallow:
クローラによるクロールを禁止するもの
Allow:
クローラによるクロールを許可するもの
注意
User-agent:は必須
disallow:とallow:はどちらか必要