サイト診断
無料で始めるいま診断する
URLを入れて、このページで診断する
無料プランで使えますログインせずに診断できます。結果の読み方は、この下の章で説明します。
2026年9月15日の変更
Cloudflare の初期設定が変わりました
Cloudflare は2026年9月15日から、広告を表示するページで、学習用とエージェント用のAIクローラーを初期設定でブロックすると発表しています。どのドメインが対象になるかは公式の説明が分かれているため、自社のサイトが当てはまるかは診断で確かめられます。
※ 出典: Cloudflare 公式ブログ（Your site, your rules: new AI traffic options for all customers）。適用の範囲は無料診断のページで両方の説明を並べています。
止めている場所
止めている場所は、robots.txt と防御設定の2つ
robots.txt で許可していても、WAF や Bot Fight Mode などのボット対策で止まっていることがあります。クローラーの名前で実際にアクセスし、どちらで止まっているかを分けて示します。
AIクローラーのアクセス状況
確認は2段階です。まず robots.txt で許可されているかを見ます。次に、クローラーとして実際にアクセスし、本文が返るかを確かめます。
OpenAI
ChatGPT (OpenAI)
GPTBot（学習用）
robots.txt で拒否しているため、アクセスは試していません。
robots.txt: 拒否アクセス結果: 未確認OpenAI Search
OAI-SearchBot（AI検索用）
robots.txt: 許可アクセス結果: アクセスできたChatGPT User (OpenAI)
ChatGPT-User（利用者の操作）
robots.txt: 許可アクセス結果: アクセスできた
Anthropic (Claude)
Claude (Anthropic)
ClaudeBot（学習用）
robots.txt: 許可アクセス結果: ボット対策で止められた（確認画面）Claude Search (Anthropic)
Claude-SearchBot（AI検索用）
robots.txt: 許可アクセス結果: ボット対策で止められた（確認画面）Claude User (Anthropic)
Claude-User（利用者の操作）
robots.txt: 許可アクセス結果: アクセスできた
Google AI
Google Gemini（robots.txt の許可設定）
Google-Extended（学習用）
robots.txt: 許可アクセス結果: 未確認Google その他のAI向け取得
GoogleOther（学習用）
robots.txt: 許可アクセス結果: アクセスできたGoogle Agent
Google-Agent（利用者の操作）
利用者の操作で動くAIのアクセスです。人がAIに頼んだときだけ、ページを読みに来ます。提供元（Google・Perplexity）の説明では、robots.txt の指定に従わないことがあります。
robots.txt: 許可アクセス結果: アクセスできた
確認してほしいこと
- ClaudeBot・Claude-SearchBot は robots.txt では許可されていますが、ボット対策の確認画面で止まっています。WAF やボット対策の設定で、AIクローラーを止めていないか確かめてください。
本文が読めるか
JavaScript を動かす前に、本文が読めるか
多くのAIクローラーは、JavaScript を動かさずにページを読みます。動かす前と後のHTMLを比べて、本文がどれだけ読めるかを0〜100で示します。
AIクローラーが読み取れる本文の量
ブラウザを動かさずに読むクローラーが、本文をどれだけ読み取れるかを0〜100で示しています。基準は、ブラウザで表示した本文の量です。
一部しか読み取れない
ブラウザを動かさずに読むクローラーは、本文の一部しか読み取れません。
- クローラーが読む本文
- 1,120 文字
- ブラウザで見える本文
- 2,840 文字
- 使われている技術
- Next.js
要素ごとに読み取れる割合
- 本文39%
- 見出し50%
- 本文の目印100%
- 表・リスト20%
- 構造化データ100%
確認してほしいこと
- 料金表と比較の表が、JavaScript を動かしたあとにしか出てきません。サーバー側で本文を返す設定（SSR）にすると、ブラウザを動かさないクローラーにも本文が届きます。
役割と設定の考え方
AIクローラーには、3つの役割がある
役割ごとに、止めたときに起きることが違います。まとめて止めず、役割を見て設定します。
学習用
AIの学習に使うデータを集めます。GPTBot・ClaudeBot など。
AI検索用
AIが回答の根拠に使う検索の索引を作ります。OAI-SearchBot・Claude-SearchBot など。
利用者の操作
人がAIにページを読むよう頼んだときに取りに来ます。ChatGPT-User・Claude-User など。
設定の考え方
学習には使われたくないが、AIの回答には出たい
robots.txt で学習用（GPTBot・ClaudeBot）だけを拒否し、AI検索用と利用者の操作によるクローラーは許可します。
利用者の操作によるクローラーを止めるとき
ChatGPT-User・Claude-User を止めると、利用者がチャットの中でリンクを開いたときに、ページを読めなくなることがあります。
計測対象のクローラー一覧を見る（OpenAI・Anthropic・Google ほか）
| 提供元 | 学習用 | AI検索用 | 利用者の操作 | 広告審査 |
|---|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User | OAI-AdsBot |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User | — |
| Google-Extended（robots.txtの許可設定用） | Googlebot | Google-Agent | — |
※ OAI-AdsBotは、ChatGPT広告として提出されたページの安全性を検証する審査用クローラーです。2026年8月時点で、Anthropic・Googleから同等の広告審査用クローラーは公表されていません。
※ AI Overviews・AIモードで使うページは、検索と同じGooglebotが取得します（Google公式のAI最適化ガイドに記載）。Google-Extendedは、自分でページを読みに来るクローラーではありません。取得済みのページをGeminiなどの学習・参照に使ってよいかを、robots.txtで指定するための名前です。Googleは2026年8月19日更新の公式クローラー文書で、クローラーを2種類追加しました。利用者の指示でページを取得するGoogle-Agentと、Gemini Notebook用のGoogle-GeminiNotebookです。
※ Perplexity：PerplexityBot・Perplexity-User。公開しているクローラーは、検索用と、利用者の指示でページを取得するものの2種類です。AIの学習専用のクローラーは公表されていません。
※ Meta：Meta-ExternalAgent・FacebookBot。AI関連の取得用として、2種類のクローラーを公開しています。それぞれの詳しい用途は公表されていません。
- ※ 各社のクローラー名の出典（2026年8月時点。仕様は変わることがあります）
- OpenAI: platform.openai.com/docs/bots
- Anthropic: support.claude.com（2026年2月に3種類のクローラーを公式に案内）
- Google: developers.google.com（クローラー概要）
- Google: developers.google.com（利用者の指示でページを取りに来るもの。2026年8月19日更新）
- Perplexity: docs.perplexity.ai/docs/perplexitybot
- Perplexity: docs.perplexity.ai（crawlers 一覧）
- Meta: developers.facebook.com（Web Crawlers）
訪問の記録
公開ページへの訪問を、クローラーごとに記録する
ライトプラン以上AI最適化ページを公開すると、そのページへのAIクローラーの訪問を、クローラーごとに分けて記録します。無料診断は「いま1回」の確認で、こちらは続けて記録するものです。
FAQ