AIクローラー一覧(8ボット体制)
目次
AIクローラーは何のために来ているのか
AIクローラーは、生成AIの学習、AI検索の索引作成、ユーザーが質問した瞬間のページ取得という、3つの異なる目的でWebページを収集しに来ます。同じ「AIボット」であっても、ブロックしたときの影響はまったく異なります。
たとえば学習用ボットを拒否しても、検索での引用には影響しません。一方、検索用ボットを拒否すると、そのAIの回答に出てこなくなります。つまり、ひとくくりに「AIは全部ブロック」と設定すると、検索からの流入まで一緒に失うことになります。
主要8ボットの早見表
OpenAI、Anthropic、Googleの8ボットを役割別に整理すると、以下のとおりです。
| 提供元 | ボット | 役割 | ブロック時の影響 |
|---|---|---|---|
| OpenAI | GPTBot | モデル学習用のクロール | 将来の学習データから除外。検索への露出には影響しない |
| OpenAI | OAI-SearchBot | ChatGPT検索の索引作成 | ChatGPT検索の回答・引用に出なくなる |
| OpenAI | ChatGPT-User | ユーザーが質問した際のページ取得 | ユーザー起点の参照ができなくなる |
| Anthropic | ClaudeBot | モデル学習用のクロール | 将来の学習データから除外 |
| Anthropic | Claude-User | ユーザーがClaudeに質問した際のページ取得 | ユーザー起点の参照ができなくなる |
| Anthropic | Claude-SearchBot | 検索結果の品質向上のための索引作成 | 検索品質向上の対象から外れる |
| Googlebot | 通常の検索クロール | 検索結果とAI Overviewsの両方で露出が下がる | |
| Google-Extended | 生成AI学習向けの制御 | 学習のみ切り離す。検索順位には影響しない |
出典はOpenAI: Overview of OpenAI CrawlersとAnthropic: Does Anthropic crawl data from the webです。なお、Anthropicは以前、Claude-WebとAnthropic-AIという別のUAを使っていましたが、これらはすでに廃止されており、ClaudeBot、Claude-User、Claude-SearchBotの3ボット体制に置き換わっています(出典: Search Engine Journal)。
OpenAIとAnthropicで構造が違う
OpenAIは学習、検索索引、ユーザー操作の3つを独立した設定で制御できます。GPTBotを拒否しつつOAI-SearchBotだけ許可する、という組み合わせも可能です。
Anthropicも、ClaudeBot、Claude-User、Claude-SearchBotの3ボットで似た構造を持っています。ClaudeBotだけ拒否してClaude-UserとClaude-SearchBotを許可すれば、学習には使わせず検索引用には載る、という組み合わせが作れます。
一方でGoogleはやや特殊です。Googlebot(通常の検索クロール)とGoogle-Extended(生成AI学習向け制御)が分かれており、Google-Extendedを拒否しても検索順位そのものは変わりません。学習だけを切り離せる設計になっています。
robots.txtでの具体的な書き方はrobots.txtでAIクローラーを制御する方法、OpenAIの2つのボットの使い分けはGPTBotとOAI-SearchBotの違い、Google-ExtendedについてはGoogle-Extendedとは何かで詳しく扱っています。
8ボットを分けて計測する意味
役割を混ぜたまま計測すると、「AIクローラーが来ている」以上のことは分かりません。学習用と検索用を分けて初めて、自社サイトがどのAIの回答に実際に使われているかが見えてきます。
Geo Indexのクローラー分離計測は、この8ボットをプロバイダ・ボット単位で分けてアクセスを記録します。たとえばClaudeBotのアクセスは増えているのにClaude-SearchBotのアクセスがゼロ、というような状態が見えれば、それは学習用クロールは通っているものの検索引用の対象にはなっていない、というサインです。
8ボットの動きが見えたら、次は読まれた本文が引用される作りになっているかが問題になります。土台となる構成はLLMに読まれ引用される記事構成の作り方、Claude個別の対策はClaudeに引用されるにはを参考にしてください。