robots.txt でAIクローラーを許可すべきですか?
許可するかどうかは、コンテンツの方針にもとづいてお客様が判断することです。Geo Index が扱うのは、その判断と実際の設定が食い違っていないかの確認です。robots.txt の記述と、各クローラー名での実際のアクセスを分けて診断します。そのため「許可しているつもりが防御機能(WAF)で止まっている」「学習用のクローラーだけ止めるつもりが検索用も止まっている」といった食い違いが分かります。
サイト診断の詳細を見る許可するかどうかは、コンテンツの方針にもとづいてお客様が判断することです。Geo Index が扱うのは、その判断と実際の設定が食い違っていないかの確認です。robots.txt の記述と、各クローラー名での実際のアクセスを分けて診断します。そのため「許可しているつもりが防御機能(WAF)で止まっている」「学習用のクローラーだけ止めるつもりが検索用も止まっている」といった食い違いが分かります。
サイト診断の詳細を見る