AIクローラーの誤ブロックを防ぐ

AIクローラーの誤ブロックとは

robots.txtでAIクローラーを許可していても、CDNやWAFのレート制限で実際には弾かれていることがあります。サイト側は「許可した」つもりでも、AIには本文が届いていないという状態です。

Merselの整理では、B2B SaaSやECサイトの約27%が、CDN層で主要なAIクローラーを誤ってブロックしているといいます。これらのサイトは、ローカルのrobots.txt自体は正しく書けています(出典: How to Block or Allow AI Bots)。つまり、「許可している」ことと「実際に届いている」ことは別の話だと考えたほうがいいでしょう。

なぜrobots.txtを許可しても弾かれるのか

原因はrobots.txtの外側にあります。robots.txtはあくまでクローラーへのお願いの記述で、実際の通信を遮断しているのは手前のCDNやファイアウォールです。CloudflareなどのBot対策やWAFのルール、レート制限による429 Too Many Requestsが、AIクローラーのアクセスに当たってしまうケースが目立ちます。

たとえばCloudflareのダッシュボードには、Security の Bots に「Control AI Crawlers」というAIスクレイパー遮断設定があり、これが有効だとrobots.txtの許可記述とは無関係に弾かれてしまいます。AIクローラーは通常のブラウザと挙動が違うため、Bot対策側に攻撃だと誤認されやすいのです。

確認と解消の手順

サーバーログで対象のAIクローラーへの403・429応答を探し、CDN側の設定を見直すのが基本の流れになります。

1. サーバーログでOAI-SearchBot、ChatGPT-User、Claude-User、Claude-SearchBot、PerplexityBotへの403や429の応答が出ていないか確認します
2. CloudflareのSecurity > Bots(Control AI Crawlers)でAIスクレイパーのブロックが有効になっていないか点検します
3. AI検索のクローラーへのレート制限が厳しすぎないか確認し、必要なら緩めます

ログを見ずに「robots.txtを直したから大丈夫」で済ませると、この種の誤ブロックは見つからないまま残ってしまいます。一方で、Semrushの分析では、AI検索からの訪問者は、コンバージョン率で見て従来のオーガニック検索の訪問者の4.4倍の価値があったとされます(出典: Semrush, 2025)。AIクローラーを塞いだままにしておく理由は乏しいでしょう。Geo Indexの「AIクローラー・アクセス診断」は、この誤ブロックを検出し、そもそもAIに読まれていない状態を可視化する機能として用意しました。

誤ブロックを解いて本文が届くようになったら、あとは引用されるかどうかは記事の作り次第です。整え方はLLMに読まれ引用される記事構成の作り方にまとめました。なお、制御の基本はrobots.txtでAIクローラーを制御する方法、描画が原因で届かないケースはSSRが必要な理由とAIクローラーのJS非実行を参照してください。

参考文献

• Mersel「How to Block or Allow AI Bots on Your Website」2026 https://www.mersel.ai/blog/how-to-block-or-allow-ai-bots-on-your-website