LLMO・AIO の効果測定のやり方 ― AI の回答は日によって変わる。1 回の確認ではなく割合で測る
LLMO・AIO 対策の効果は、ChatGPT に 1 回質問して確かめるだけでは測れません。AIO Lens が 30 日間に記録した 30,764 件の回答をもとに、同じ質問でも自社が出たり出なかったりする割合、AI ごとの結果の違いを示し、効果測定で見るべき 4 つの指標と、AIO Lens での測り方を画面とあわせて解説します。
LLMO・AIO 対策を始めると、次に悩むのが「効果をどう測るか」です。
よくあるのは、担当者が ChatGPT や Gemini に自社に関係する質問を投げて、自社の名前が出るかを目で確かめる方法です。手軽ですが、この方法には大きな落とし穴があります。同じ質問を同じ AI に投げても、自社が出る日と出ない日があるためです。
この記事では、AIO Lens が毎日記録している回答データを使って、AI の回答が日によってどれくらい変わるのかを数字で示します。そのうえで、効果測定で見るべき指標と、AIO Lens での実際の測り方をまとめます。
調査の前提
| 項目 | 内容 |
|---|---|
| 対象期間 | 2026 年 9 月 19 日 〜 10 月 18 日 (30 日間) |
| 回答数 | 30,764 件 |
| 対象 | 41 ブランドが追跡している 328 件のプロンプト |
| 対象 AI | ChatGPT / Gemini / Claude / Google AI Overview |
| 実行のしかた | 同じプロンプトを、毎日 1 回ずつ各 AI に投げる |
| 判定 | 回答の中に、そのブランドが言及されたか (自社言及) |
「同じプロンプト × 同じ AI」の組み合わせごとに、30 日のうち何日自社が言及されたかを数えました。集計に使ったのは、30 日のうち 20 日以上の回答がそろっている組み合わせだけです。
1. 同じ質問でも、自社が出るかどうかは日によって変わる
30 日間に一度でも自社が言及された組み合わせは 377 件ありました。このうち、30 日間ずっと言及され続けたのは 106 件 (28%) だけです。残りの 271 件 (72%) は、言及される日とされない日が混ざっていました。
AI ごとに見ると、揺れがいちばん小さい ChatGPT でも 63% の組み合わせで結果が日によって変わっています。Google AI Overview は 39 件のうち 37 件 (95%) が揺れていて、毎日同じ結果になることはほとんどありません。
AI の回答は、毎回その場で文章を組み立てて作られます。検索結果をもとに答える場合は、その日に拾ったページによっても内容が変わります。そのため、同じ質問への答えが毎日少しずつ違うのは異常ではなく、AI の性質です。
2. 1 回の質問でわかるのは、その日の結果だけ
ここまでの結果から、「AI の回答に自社が出るか」は、出る・出ないの 2 択では表せないことがわかります。実際の状態は「30 日のうち何割の日に出るか」という割合です。
揺れのあった 271 件を、30 日のうち言及された日の割合で分けると、次のようになりました。
| 30 日のうち言及された日の割合 | 組み合わせの数 |
|---|---|
| 20% 未満 | 106 |
| 20% 以上 40% 未満 | 53 |
| 40% 以上 60% 未満 | 34 |
| 60% 以上 80% 未満 | 18 |
| 80% 以上 | 60 |
担当者が ChatGPT に 1 回質問して確かめるのは、この 30 日分のうち 1 日分だけを見ることにあたります。たとえば、30 日のうち 3 割の日に自社が出るプロンプトを 1 回だけ確かめると、7 割の確率で「出ていない」という結果になります。同じ人が翌日に確かめれば、逆の結果になるかもしれません。1 回の質問は、その日たまたま出た答えを見ているだけで、トラッキング (状態の記録) にはなっていないということです。
この違いは、効果測定で 2 つの見落としにつながります。
1 つ目は、伸びしろの見落としです。表でいちばん数が多いのは「言及された日が 20% 未満」の 106 件で、1 回確かめただけでは、ほとんどの場合「出ていない」と判断されます。しかし、たまにでも自社が出るということは、AI が自社を候補として知っているということです。対策で伸ばしやすいのは、まさにこの「たまに出る」プロンプトです。
2 つ目は、施策の効果の取り違えです。施策の前後に 1 回ずつ確かめて「出るようになった」と判断しても、それが施策の効果なのか、ただの日ごとの揺れなのかは区別できません。効果を確かめるには、施策の前後それぞれで、ある程度の期間の割合を比べる必要があります。
3. 同じ質問でも、AI によって結果が違う
ChatGPT・Gemini・Claude の 3 つすべてで 20 日以上のデータがそろっているプロンプトは 292 件ありました。このうち、どれか 1 つの AI で一度でも自社が言及されたのは 132 件です。そして、3 つの AI すべてで言及されたのは 84 件にとどまりました。残りの 48 件 (36%) は、ある AI では自社が出るのに、別の AI では 30 日間一度も出ていません。
30 日間の自社言及の割合を AI ごとに並べると、次のとおりです。
| AI | 回答数 | 自社言及があった回答の割合 |
|---|---|---|
| ChatGPT | 9,400 | 20.7% |
| Gemini | 9,401 | 21.4% |
| Claude | 8,760 | 22.9% |
| Google AI Overview | 3,203 | 13.2% |
全体の割合は近くても、プロンプト単位で見ると AI ごとに結果が分かれます。ChatGPT だけを確かめて「AI 対策はうまくいっている」と判断すると、Gemini や Google AI Overview で自社が出ていないことに気づけません。
効果測定で見るべき 4 つの指標
ここまでのデータから、LLMO・AIO の効果は「出たか、出なかったか」の 1 回の結果ではなく、一定期間の中での割合で測る必要があることがわかります。そのうえで、見るべき指標は次の 4 つです。
1. 自社言及の割合
一定期間 (たとえば直近 30 日) の回答のうち、自社が言及された回答の割合です。LLMO・AIO の効果測定の中心になる指標で、プロンプトごと、AI ごとに分けて見ます。
2. 自社ドメイン参照の有無
AI が回答の根拠として示す参照リンクの中に、自社サイトのページが入っているかどうかです。自社が言及されていても、根拠として参照されているのは比較サイトや他社の記事、ということはよくあります。言及と参照は別々に測ります。
3. 他社言及との比較
同じ回答の中で、競合他社がどれだけ言及されているかです。自社言及の割合が上がっても、競合の割合がそれ以上に上がっていれば、相対的な立ち位置は下がっています。自社だけでなく、同じプロンプトで言及されたブランド全体の中での位置を見ます。
4. 参照されているページの中身
AI がどのサイトのどのページを参照しているかです。これは結果の指標というより、次に打つ施策を決めるための指標です。自社に不利な内容のページが参照されていれば、そのページの情報を正す、あるいは自社側に同じ話題のより良いページを用意する、といった施策につながります。
AIO Lens での効果測定のやり方
ここからは、実際の画面を使って、AIO Lens での測り方を説明します。例にするのは、AIO Lens を運営するデジタルレシピのサービス Catchy (キャッチー) です。
Catchy は、ブログ記事や広告のキャッチコピー、メールの文面などを、AI を使って作れる文章作成ツールです。見込み客が「AI でブログ記事を書くには、どのツールを使えばいいか」と AI に相談したときに、回答の中で Catchy が紹介されるかどうかを計測しています。同じ回答には、ChatGPT や Canva のような、文章や画像を AI で作れるほかのサービスも競合として登場します。
手順 1. 測るプロンプトを登録する
最初に、計測したい質問をプロンプトとして登録します。社名や商品名を含む質問 (指名の質問) ではなく、見込み客が商品を選ぶ段階で AI に投げる質問を選びます。指名の質問では、自社が出るのは当たり前なので効果を測れません。
Catchy の場合は、次のような質問を登録しています。
AIを使ってブログ記事を作成するには、初心者でもできる具体的な手順とおすすめツールを教えてください。
登録したプロンプトは、AIO Lens が ChatGPT・Gemini・Claude・Google AI Overview のそれぞれに毎日決まった時刻に投げ、回答を記録します。担当者が毎日手で質問する必要はありません。
手順 2. 日ごとの回答を見る
「AI の回答」の画面では、記録された回答が 1 日 1 行で並び、それぞれの回答で自社が言及されたか (自社言及)、自社サイトが参照されたか (自社ドメイン参照) がわかります。
上の画面は、先ほどのプロンプトの Gemini の回答だけを表示したものです。10 月 15 日から 18 日までは毎日 Catchy が言及されていますが、13 日・14 日・19 日には言及されていません。もし担当者が 14 日に 1 回だけ確かめていたら、「Gemini には出ていない」と判断していたはずです。
同じプロンプトの直近 30 日を AI ごとに数えると、Catchy が言及されたのは Claude で 23 日、Gemini で 16 日、Google AI Overview で 7 日、ChatGPT では 0 日でした。この結果から、次に対策すべきなのは ChatGPT だとわかります。
手順 3. 期間の割合で比べる
「インサイト」の画面では、選んだ期間の中で自社が言及された割合を、ほかのブランドと並べて見られます。
この画面では、次のことがわかります。
- 自社ブランド言及率: 過去 30 日の 210 回の回答のうち、45 回で Catchy が言及された (21.4%)。その前の 30 日と比べて 3 ポイント下がっている
- 自社ドメイン参照率: AI が参照した 439 件のリンクのうち、Catchy のサイトは 0 件
- ブランドランキング: 同じ回答で言及されたブランドは 42 あり、Catchy は 5 位。上には ChatGPT・Claude・Canva・Gemini が並ぶ
施策の効果を確かめるときは、施策を始める前の期間と後の期間でこの割合を比べます。少なくとも 2〜4 週間分を、同じ長さでそろえて比べてください。AI が新しいページを読み込んで回答に反映するまでには時間がかかることが多いため、施策直後の数日だけで判断しないようにします。
手順 4. どのページが参照されているかを見る
「参照リンク」の画面では、AI が回答の根拠として参照したページが、参照された回数の多い順に並びます。
Catchy の場合、最も多く参照されているのは「AI ライティングツールおすすめ 20 選」のような比較記事でした。どの記事でも自社言及に印が付いていて、参照されたページの中で Catchy が紹介されていることがわかります。AI は比較記事を読んで、Catchy を回答に入れているということです。
一方で、手順 3 のとおり、自社サイトは一度も参照されていません。ここから、次の 2 つの施策が考えられます。
- 参照されている比較記事に、Catchy の最新の情報が正しく載っているかを確かめる。載っていない比較記事には掲載を依頼する
- 「AI でブログ記事を作る手順」のような質問に、Catchy の公式サイトで直接答えるページを用意する
手順 5. AI 経由の流入もあわせて見る
AI の回答に自社が出るようになると、参照リンクから自社サイトに来る人も増えます。Google アナリティクス (GA4) の参照元に chatgpt.com や perplexity.ai などの AI サービスが記録されているかを確かめます。ただし、AI の回答を読んだあとに社名で検索し直してから来る人も多いため、この流入数だけでは効果の一部しか見えません。自社言及の割合とあわせて見ます。
まとめ
- 同じ質問を同じ AI に投げても、一度でも自社が言及された組み合わせの 72% は、日によって言及されたりされなかったりした
- 自社が出るかどうかは「30 日のうち何割の日に出るか」という割合で表される状態で、1 回の質問ではその日の結果しかわからない
- 同じ質問でも AI によって結果が分かれ、自社言及があったプロンプトの 36% は、一部の AI でしか自社が出ていなかった
- 効果は 1 回の結果ではなく、一定期間の割合で、AI ごとに測る。見る指標は、自社言及の割合、自社ドメイン参照、他社言及との比較、参照されているページの 4 つ
AIO Lens は、登録したプロンプトを ChatGPT・Gemini・Claude・Google AI Overview に毎日投げ、自社言及・自社ドメイン参照・他社言及・参照リンクを自動で記録するツールです。この記事で紹介した測り方を試してみたい場合は、AIO Lens もあわせてご検討ください。
Read next