そのページ、AIクローラーは
読み取れる状態ですか。
URLを1つ入れるだけで、主要AIクローラーの到達状況と、JavaScript実行前のHTMLに本文が含まれているかを確認できます。 ログインは不要です。
登録不要 / 1回まで無料 / 所要 20〜40秒
継続的な計測については クローラー計測・アクセス診断の機能 をご覧ください。
URLを1つ入れるだけで、主要AIクローラーの到達状況と、JavaScript実行前のHTMLに本文が含まれているかを確認できます。 ログインは不要です。
登録不要 / 1回まで無料 / 所要 20〜40秒
継続的な計測については クローラー計測・アクセス診断の機能 をご覧ください。
診断の仕組み
robots.txt の記述・実際のアクセス可否・JavaScript実行前のHTMLは、それぞれ別の原因で結果が変わります。
GPTBot・OAI-SearchBot・ChatGPT-User・OAI-AdsBot・ClaudeBot・Claude-User・Claude-SearchBot・Google-Extended・GoogleOther など、AIクローラーのトークンごとに allow / disallow を判定します。検索と学習を兼ねる Googlebot・Applebot・Bingbot も、Bot対策設定の巻き添えを確認するために併せて照合します。
ボットの User-Agent で実際にアクセスし、403応答やBot対策のチャレンジ応答が返らないかを確認します。robots.txt で許可していても、WAF側で止まっている場合があります。広告関連タグの有無も併せて確認します。
JavaScript実行前の生HTMLとレンダリング後のHTMLを比較し、本文・見出し・本文要素・構造要素・JSON-LDの5指標で 0〜100 のスコアを算出します。
Cloudflare の既定値変更（2026-09-15 適用）
広告を表示するページで、学習・エージェント系のAIクローラーの扱いが変わると発表されています。
Cloudflare は 2026-09-15 から、広告を表示するページで学習(Training)・エージェント(Agent)系のAIクローラーを既定でブロックする変更を発表しています（検索(Search)は既定で許可のまま）。対象は、公式ブログでは新規に追加されたドメイン、報道向けの公式説明では設定を変更していない既存の無料プランのドメインも含むとされています。設定はゾーン単位でいつでも変更できます。
Bot対策のチャレンジは、通常のHTTPステータス（200）を返すことがあります。robots.txt の記述やステータスコードだけを見る確認では、ボットが本文を受け取れていない状態を見分けられません。この診断は各ボットの User-Agent で実際にアクセスし、応答の中身まで確認します。
診断の範囲
この診断は、いま公開されているページの状態を1回分だけ確認するものです。
これらは Geo Index の引用分析と、Googlebot を含む9ボットの分離計測（自社サイトのアクセスログの継続記録）で継続的に計測します。
FAQ
現在はクローズドβとして、信頼できる10〜20社への限定招待を予定しています。ご登録いただくと、準備が整い次第、登録順にご案内します。