SSR未対応のページは、
AIクローラーに見えていないかもしれない。
LLMに引用されるための前提は、AIクローラーにコンテンツが届いていること。 Geo Index は GPTBot・ClaudeBot など主要AIクローラーのアクセスをボット別に分離計測し、 robots.txt や WAF の誤ブロック、SSR未対応によるAI不可視リスクを診断します。
登録から招待まで、費用は発生しません。
なぜ読まれないのか
AIクローラーが見ているのは、生HTMLだけかもしれない
クライアントサイドのJavaScriptで組み立てられる本文は、初回のHTTPレスポンス（生HTML）には含まれません。
Googleの検索クローラー Googlebot は、evergreen版のChromiumでJavaScriptを実行してからページをインデックスすることを公式に明らかにしています。一方、GPTBot・OAI-SearchBot・ChatGPT-User・ClaudeBot・Claude-User・Claude-SearchBot・PerplexityBotなど主要AIクローラーの公式ドキュメントは、User-Agent文字列やIPアドレス範囲、robots.txtの反映間隔は明記していますが、JavaScriptを実行するかどうかは明言していません。
Vercelとサードパーティによる実測調査では、これらのAIクローラーの多くがJavaScriptファイルを取得することはあってもそれを実行せず、初回に取得した生HTMLのみからテキストを抽出していると報告されています。したがって、クライアントサイドレンダリング（CSR）のみに依存するページは、本文がAIクローラーから見えていない可能性があります。
- ※ 出典（Googlebotのレンダリング）: developers.google.com（JavaScript SEO Basics）
- ※ 出典（AIクローラーのJavaScript実行に関する第三者実測、断定ではなく参考情報）: vercel.com/blog/the-rise-of-the-ai-crawler
Geo Index は生HTMLとレンダリング後HTMLを比較し、AIクローラー視点の可視性を0〜100のスコアで診断する機能を提供しています。
なぜ分離計測か
AIクローラーは、役割が異なる
学習用・AI検索用・ユーザー代理は挙動も意味も異なるため、まとめて計測すると何が起きているか見えなくなります。
学習用
モデルの学習データ収集を目的にコンテンツを取得するクローラーです。GPTBot・ClaudeBotなどが該当します。
AI検索用
AI検索機能のインデックス作成のためにコンテンツを取得するクローラーです。OAI-SearchBot・Claude-SearchBotなどが該当します。
ユーザー代理
ユーザーがチャット中にリンクを参照した際、リアルタイムでページを取得するクローラーです。ChatGPT-User・Claude-Userなどが該当します。
分離計測
3社×最大4系統 + Perplexity/Meta のマトリクス
学習用と検索用は別物、という事実をボット単位で分けて計測します。
| プロバイダー | 学習用 | AI検索用 | ユーザー代理 | 広告審査 |
|---|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User | OAI-AdsBot |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User | — |
| Google-Extended（トークン） | Googlebot | — | — |
※ OAI-AdsBotは、ChatGPT広告として提出されたページの安全性を検証する審査用クローラーです。2026年8月時点で、Anthropic・Googleから同等の広告審査用クローラーは公表されていません。
※ AI Overviews・AIモードで使われるコンテンツは、検索と同じGooglebotが取得するとGoogle公式のAI最適化ガイドに記載されています。Google-Extendedはクロールを行うUAではなく、取得済みコンテンツをGemini等の学習・参照に使ってよいかを制御するrobots.txt上のトークンです。Googleは、ChatGPT-User・Claude-Userに相当する「ユーザーの質問に応じてリアルタイムに取得する」専用botを公開していません（2026年8月時点）。
※ Perplexity: PerplexityBot（学習用・AI検索用・ユーザー代理の3系統を分けて公開していません。）
※ Meta: Meta-ExternalAgent・FacebookBot（3系統の内訳は非公開ですが、AI関連の取得用途で2種のbotを公開しています。）
学習は拒否しつつ、AI検索には出たい場合
GPTBot・ClaudeBotなど学習用botのみをrobots.txtでDisallowし、OAI-SearchBot・Claude-SearchBotなどAI検索用botはAllowにします。役割ごとにUser-Agentが分かれているため、この切り分けが可能です。
ユーザー代理botをブロックする場合の影響
ChatGPT-User・Claude-Userはユーザーがチャット中にリンクを開こうとした際にページを取得します。これらをブロックすると、ユーザーがリンクを開けなくなる可能性があります。
- ※ bot体制・User-Agentの出典（2026年8月時点の情報。各社の仕様は変更されることがあります）:
- OpenAI: platform.openai.com/docs/bots
- Anthropic: support.claude.com（2026年2月に3-bot体制を公式化）
- Google: developers.google.com（クローラー概要）
- Perplexity: docs.perplexity.ai/docs/perplexitybot
- Meta: developers.facebook.com（Web Crawlers）
誤ブロック診断
robots.txt と WAF、2つのレイヤーを分けて診断
Geo Index は robots.txt のルール解析と、実際のアクセス可否の検証を分離して診断します。
誤ブロックには2つの異なる原因があります。1つは robots.txt のルール解析で、ボットごとの許可/拒否設定を確認します。もう1つは robots.txt とは別レイヤーで起きる、WAF や Cloudflare Bot Fight Mode などによるチャレンジ応答の検出です。
robots.txt で許可していても、WAFがAIクローラーをブロックしているケースがあります。Geo Index はこの2つを切り分けて診断し、あわせてSSR可視性スコアも同じ画面で確認できます。
画面はデモデータです
実測
AI最適化ページへの実アクセスも、プロバイダー別に確認できる
AI最適化ページを配信するCloudflare Workerのアクセスログを、プロバイダー別に集計します。
画面はデモデータです
FAQ
クローラー計測についてよくある質問
まず、届いているかを診断することから。
現在はクローズドβとして、信頼できる10〜20社への限定招待を予定しています。ご登録いただくと、準備が整い次第、登録順にご案内します。登録から招待まで、費用は発生しません。
製品ツアーを見る