robots.txt でAIクローラーを許可すべきですか？
許可するかどうかは、コンテンツの方針にもとづいてお客様が判断する事項です。Geo Index が扱うのは、その判断と実際の設定が食い違っていないかの検出です。robots.txt の記述と、各ボットのUser-Agentでの実アクセスを分けて診断するため、「許可しているつもりが WAF 側で止まっている」「学習用のボットだけ止めるつもりが検索用のボットも止まっている」といった状態を切り分けられます。
クローラー計測の詳細を見る許可するかどうかは、コンテンツの方針にもとづいてお客様が判断する事項です。Geo Index が扱うのは、その判断と実際の設定が食い違っていないかの検出です。robots.txt の記述と、各ボットのUser-Agentでの実アクセスを分けて診断するため、「許可しているつもりが WAF 側で止まっている」「学習用のボットだけ止めるつもりが検索用のボットも止まっている」といった状態を切り分けられます。
クローラー計測の詳細を見る現在はクローズドβとして、信頼できる10〜20社への限定招待を予定しています。ご登録いただくと、準備が整い次第、登録順にご案内します。登録から招待まで、費用は発生しません。