AI最適化ページの公開とアクセスログ
目次
公開までの手順
- 公開用のドメインの管理画面で、公開に使うドメインを設定します。
- AI最適化ページ管理でページを有効にします。
- 発行されたサイトマップのURLを、Google サーチコンソール(GSC)と自社サイトのrobots.txtに登録します。
3番目を忘れると、ページは存在するのにクローラーが見つけに来ません。ページ管理の画面にサイトマップ設定のガイドがあります。
公開用のドメインの設定
ページはCloudflare Workers上で公開し、公開用のドメインごとにページを割り当てます。公開用のドメインに自社ドメインのサブドメインを使う場合はDNSの設定が要ります。設定内容は公開用のドメインの管理画面に出ます。
公開用のドメインには、AIクローラーに対する方針(検索利用、AI学習利用などの許可、不許可)を指定する設定もあります。指定しない項目はrobots.txtに出力されません。初期設定で勝手に「許可」とは書きません。利用者が示していない許諾を、運営側が代わりに書くことになるからです。
アクセスログ
公開後、ページへのアクセスをクローラー別に記録します。分けて記録するのは次の9つです。
- OpenAI: GPTBot、OAI-SearchBot、ChatGPT-User、OAI-AdsBot
- Anthropic: ClaudeBot、Claude-User、Claude-SearchBot
- Google: Googlebot、Google-Extended
学習用のクローラー(GPTBot、ClaudeBot)と、検索用(OAI-SearchBot、Claude-SearchBot)と、ユーザーの操作で動くもの(ChatGPT-User、Claude-User)は目的が違います。まとめて「AIクローラー」として数えると、学習には使われているが検索には出ていない、といった状態を見落とします。各クローラーの役割はAIクローラー一覧に書きました。
ログは日別、クローラー別に集計して表示します。時刻はUTCです。
エクスポート
アクセスログの画面からCSVで出力できます。Google アナリティクス(GA4)の流入データと突き合わせるときに使います。突き合わせの考え方は流入ファネルへ。
来ていないとき
公開して数日たってもクローラーのアクセスが無い場合、まず疑うのはサイトマップの未登録か、robots.txtでの拒否です。自社サイト側の設定は無料AI可視性診断ツールで確認できます。