GEO用語集
AIボット向けのrobots.txt
AI可視性の世界の用語 – GeoStarsチームがわかりやすく解説します。
定義
robots.txt内のルールで、どのAIクローラーがあなたのウェブサイトを読み取ってよいかを定めるものです――学習用、検索インデックス用、ライブ取得用に分けて設定するのが合理的です。
このテーマで自社ブランドがどう見られているか知りたいですか?GeoStarsは、ChatGPT、Google AI Overviews、Gemini、Perplexity、Microsoft Copilot、Google AI ModeにわたるAI可視性を測定します – 初回測定は数分 · 7日間無料、請求はその後から.
さらに詳しく
どのような項目があるか
各社はそれぞれ独自の名前を使っています。OpenAIは学習用のGPTBot、ChatGPT内検索用のOAI-SearchBot、ユーザーの依頼による取得用のChatGPT-Userを区別しています。PerplexityはPerplexityBot、AnthropicはClaudeBotを使います。Google-Extendedは独立したクローラーではなく制御用の指定です:Geminiモデルにコンテンツを利用させるかどうかを制御します。Googleによれば、Google検索のAI Overviewsはこれによって制御されません。
最もよくある間違い
学習を防ぐためにAIボットを一律でブロックすると、検索用クローラーまで一緒にブロックしてしまうことがよくあります――その結果、AIはそのページを情報源として使えなくなります。目的ごとに意識的に判断するほうが良い方法です。GeoStarsはrobots.txtを48種類のAIボットと照合し、毎週、新たにブロックされたボットや再び許可されたボットを表示します。
よくある質問
信頼できる提供元はそれを約束していますが、このファイル自体に強制力はありません。実際にどのボットが来ているかは、サーバーログで分かります。
Googleによれば外れません:Google検索には、引き続き通常のGooglebotが適用されます。