AIクローラーは来ているか。
誤ってブロックしていないか。
LLMに引用されるための前提は、AIクローラーにコンテンツが届いていること。 Geo Index は GPTBot・ClaudeBot など主要AIクローラーのアクセスをボット別に分離計測し、 robots.txt や WAF の設定による誤ブロックを検出します。
LLMに引用されるための前提は、AIクローラーにコンテンツが届いていること。 Geo Index は GPTBot・ClaudeBot など主要AIクローラーのアクセスをボット別に分離計測し、 robots.txt や WAF の設定による誤ブロックを検出します。
なぜ分離計測か
学習用・AI検索用・ユーザー代理は挙動も意味も異なるため、まとめて計測すると何が起きているか見えなくなります。
モデルの学習データ収集を目的にコンテンツを取得するクローラーです。GPTBot・ClaudeBotなどが該当します。
AI検索機能のインデックス作成のためにコンテンツを取得するクローラーです。OAI-SearchBot・Claude-SearchBotなどが該当します。
ユーザーがチャット中にリンクを参照した際、リアルタイムでページを取得するクローラーです。ChatGPT-User・Claude-Userなどが該当します。
分離計測
Perplexity など、その他の主要AIクローラーの検出にも対応しています
| プロバイダー | ボット名 | 役割 |
|---|---|---|
| OpenAI | GPTBot | 学習用 |
| OpenAI | OAI-SearchBot | AI検索用 |
| OpenAI | ChatGPT-User | ユーザー代理 |
| Anthropic | ClaudeBot | 学習用 |
| Anthropic | Claude-SearchBot | AI検索用 |
| Anthropic | Claude-User | ユーザー代理 |
| Googlebot | 検索用 | |
| Google-Extended | AI学習の制御 |
※ Google-Extended はクロールを行うUAではなく、AI学習への利用可否を制御する robots.txt 上のトークンです。
誤ブロック診断
Geo Index は robots.txt のルール解析と、実際のアクセス可否の検証を分離して診断します。
誤ブロックには2つの異なる原因があります。1つは robots.txt のルール解析で、ボットごとの許可/拒否設定を確認します。もう1つは robots.txt とは別レイヤーで起きる、WAF や Cloudflare Bot Fight Mode などによるチャレンジ応答の検出です。
robots.txt で許可していても、WAFがAIクローラーをブロックしているケースがあります。Geo Index はこの2つを切り分けて診断するため、原因を特定しやすくなります。