実行とクレジット見積り(くり返し計測と広さ優先の計測)

実行前に必ず見積りが出る

実行ボタンを押すと、すぐには始まりません。「計測の見積り」という画面が挟まり、クレジット(計測に使うポイント)の残量と、この計測で減る量が表示されます。ここで「実行する」を押して初めて処理が始まります。

見積りの単位はAIの呼び出し回数です。質問の数、対象のAIの数、くり返しの回数を掛けた数になります。並列で5つまで同時に処理し、1つあたり30秒程度で見積もるので、所要時間の目安も一緒に出ます。

くり返し計測と広さ優先の計測

同じ質問をAIに投げても、回答は毎回変わります。だから1回の結果で「出た」「出ない」と決めるのは危うい。この揺れをどう扱うかで、2つの計測方法を設計しています。ただし、くり返し計測はいま提供の準備中です。

くり返し計測は、同じ質問を8回くり返す計測です。いまの計測はくり返し1回で、8回のくり返し計測は提供の準備中です。提供を始めると、結果は「8回中3回」のような実数と結果の幅で表示します。1つの質問あたり最大24回のAI呼び出しになるので、クレジットは多く減ります。施策の前後を比べたい質問、競合と競り合っている質問に使う想定です。

広さ優先の計測は、1つの質問を少ない回数だけ投げます(いまは1回)。たくさんの質問を浅く測って、どの質問で自社が出ていないかを見つける用途です。

くり返し回数が規定に届いていない結果には「参考値(くり返し回数がまだ足りません)」というラベルが付きます。このラベルが付いた数字で競合比較をしないでください。

計測中

処理は裏で進むので、画面を閉じても止まりません。進み具合は「実行状況を見る」で確認できます。単位はAIの呼び出し回数です。

一部の呼び出しが失敗しても、成功した分は結果に残ります。失敗した分は「質問と回答」のページにある「計測の一覧」で、成功した回と失敗した回の数を確かめられます。失敗が多いときは時間をおいて再実行してください。各社のAPIが混んでいる時間帯にまとまって失敗することがあります。

Geminiの注意点

GoogleのAIは、Web検索の道具を付けて呼び出しても、AI側の判断で検索しないことがあります。その場合、結果に「Web検索なしで回答」というバッジが付きます。検索した回答と検索していない回答は引用の出方が違うので、比べるときは分けて見てください。

クレジットが足りないとき

見積り画面で残量が足りないと実行できません。質問を減らすか、くり返し計測を広さ優先の計測に切り替えるか、プランを上げるかのどれかです。