検証記録
AIはどの会社を推薦するのか:LLMO支援会社を題材にした検証記録(2026年10月5〜7日)
「LLMO対策の成果は、数百〜数千のプロンプトに対するAI回答での言及率で測る」。ある支援会社のイベントで、そう説明されていました。
言い回しを変えた質問を大量に投げるのは、力技に見えます。AIは質問の意味を解釈して答えるので、効いているのは言い回しより、意図と具体的な語ではないか。そう考えて、少ない質問で測れる評価のしかたを作るところから始めました。
題材には、LLMO対策の支援会社そのものを選びました。今、日本で一番LLMO対策に力を入れているのは、それを売っている支援会社のはずです。 その会社たちがAIにどう推薦されているかを見れば、LLMO対策で何が効いているのかが一番はっきり見えるだろう、と考えました。
この記事は、10月5日から7日までの3日間の記録です。結論だけでなく、立てては崩した仮説と、途中で訂正した主張もそのまま残します。要点だけを知りたい場合は、最初の「先に結論」だけで足ります。実際に投げた質問、検索語、式のパラメータなど、追試に必要な細部は別ページの実施内容一覧 にまとめました。
先に結論
- ChatGPTの推薦は、ほぼすべてその場の検索で組み立てられていた。検索を切ると、どのAIもLLMO対策会社を1社も挙げられなかった
- 検索順位は「候補に入るための入口」だった。Google・Bingの両方で10位以内の記事は全部引用された一方で、上から順には取っていなかった
- 推薦を分けていたのは、他社の比較記事に社名が載っている本数だった。多く載っている会社は、引用された記事が丸ごと入れ替わっても回答に残った
- 「他社リストへの掲載」と「自社ページの検索順位」の2つの経路を組み合わせると、AI回答への出現の順位相関は0.53(p<0.001)になった。どちらか片方だけでは0.25〜0.31にとどまった
- ただし、他社リストに30本以上載っているのに一度も推薦されない会社が4社あった。第三者の6週間の調査でも同じ傾向が出ており、ChatGPTだけが外していた。原因はまだ分かっていない
測り方
評価の式
1回の回答ごとに、対象の会社がどう扱われたかを点数にしました。
- 使われ方 F:0=出ない、1=リンクのみ、2=社名だけ、3=事実や数字が引用される、4=推薦や結論の根拠になる
- 順位 r:回答の中で何番目に出たか。下に行くほど指数的に割り引く(P(r) = exp(−0.2(r−1)))
- 帰属 A・忠実度 Q:出典が正しく示されているか、内容が事実と合っているか
1回答のスコアは S = 100 × w_F(F) × P(r) × A × Q です。これを質問の意図(認知・比較・直前)ごとに重み付けして集計しました。係数の値は実施内容一覧 に載せています。
観測条件
ChatGPTの無料版を、アプリから手作業で使いました。APIの回答はアプリと異なるうえ、実際の利用者が見ているのはアプリだからです。
- 一時チャット、パーソナライズなし、思考モードなし
- 1問ごとに新しいチャットを開き、追加の質問はしない(決めたものだけ例外)
- 対象は、LLMO対策を提供している支援会社5社
最初の失敗:最初の3問は、一時チャットでもメモリの内容が回答に混ざっていました。一時チャットの画面には「パーソナライズ」の切り替えがあり、それをオフにしてから取り直しています。混ざった3件は別フォルダに分けて残しました。
観測1:27問を1回ずつ
社名を出さない質問(「LLMO対策会社のおすすめは?」など)と、社名を出す質問を合わせて27問を聞きました。
- 回答に出た会社・ツールは延べ79件、52社。52社中40社は1回しか出てこない
- 会社の紹介文の根拠が、その会社自身のサイトや記事だった割合は49%。筆頭で推薦された会社に限ると66%
- 「予算」「EC」「地方」「成果報酬」などの条件語を1つ足すだけで、推薦される会社がほぼ入れ替わる
1回目の集計では、対象5社のうちY社が総合点で首位になりました。後で取り消すことになる結果です。
検索順位との関係
ChatGPTが引用した比較記事が、GoogleとBingで何位にあったかを調べました。質問に近い検索語で、両方の上位約50位を保存して突き合わせています。
| 引用された比較記事20本 | Bing | 両方 | |
|---|---|---|---|
| 10位以内 | 7本 | 5本 | 3本 |
| 50位以内 | 14本 | 6本 | 6本 |
- 両方で10位以内だった3本は、すべて引用された
- Bingの50位以内にあった記事は、すべてGoogleの50位以内にもあった。ChatGPTの候補はGoogleの順位との一致の方が強い
- 上から順には取っていない。 ある質問では、Googleの1〜5位を飛ばして6・19・21・39位を引用していた
- 言葉が1つ違うと、候補の記事が丸ごと入れ替わる。 「LLMO対策 ツール 比較」に近い質問では引用0本。「検索最適化 ツール 比較」に変えると、Google 5位・Bing 8位の記事が引用された
訂正:当初、「ChatGPTはBingの検索結果に従っている」と書きかけていました。データを見るとGoogleとの一致の方が強く、主張を取り下げています。
上位にあるのに、引用されない記事
X社の比較記事は、4つの検索語でGoogleの3位以内にありました。それでも、社名を出さない質問では一度も引用されませんでした。robots.txtでAIのクローラーを拒否していたわけではなく、社名を出して聞くと、記事はきちんと読まれています。
理由として、4つの仮説を立てて順に確かめました。
| 仮説 | 確かめ方 | 結果 |
|---|---|---|
| 1. AIの好みで低く見られている(自社を1位にした比較記事への減点) | 自社1位の記事と中立の記事の引用率を比べる | 支持されない |
| 2. 他社の媒体に載っていない | 他社の比較記事への掲載数を数える | 強く支持 |
| 3. AIの記憶の中での評価が低い | 検索を切って推薦させる | 差がない(全社が記憶にない) |
| 4. たまたま | 同じ質問を3回聞く | 否定。3回とも引用されず、社名は2回とも5番目 |
比較記事93本の運営元
検索結果から集めた比較リスト93本を、運営元で分類しました。
| 運営元 | 本数 | 引用された本数 | うち10位以内 | 10位以内で引用 |
|---|---|---|---|---|
| 自社を1位に掲載 | 59 | 7(12%) | 24 | 6(25%) |
| 自社を掲載しない(中立) | 22 | 2(9%) | 6 | 2(33%) |
| 運営元不明 | 10 | 0 | 2 | 0 |
| 自社を2位以下に掲載 | 2 | 0 | 1 | 0 |
「LLMO対策会社おすすめ」のリストの63%は、支援会社自身が自社を1位に置いたものでした。中立の第三者メディアは少数です。それでも、自社1位の記事が引用されにくいということはありませんでした。引用率を分けていたのは運営元より検索順位で、10位以内に限ると引用率は2〜4倍になります。
他社の比較記事に何本載っているか
各社が、自社以外の比較記事の「掲載企業の一覧」に何本入っているかを数えました(93本のうち、その会社自身が運営する記事を除く)。
| 会社 | 他社の比較記事への掲載 |
|---|---|
| LANY | 57本 |
| ナイル | 57本 |
| メディアリーチ | 46本 |
| PLAN-B | 45本 |
| Faber Company | 37本 |
| CINC | 34本 |
| Y社 | 4本 |
| X社 | 2本 |
X社は、自社の記事では自社を1位に置いています。しかし、他社の記事にはほとんど載っていません。
繰り返して分かったこと:Y社の首位は偶然だった
いくつかの質問を2回目・3回目と聞き直しました。
- ある質問の2回目と3回目は、引用された記事が1本も重ならなかった。それでも、ナイル・LANY・Faberは両方の回答に出た
- Y社は、2回目・3回目では一度も出なかった。Y社の自社ページが検索で拾われた回だけ、1位になっていた
訂正:1回目の集計の「Y社が首位」は偶然で、取り下げました。他社のリストに多く載っている会社は、ChatGPTがどの記事を拾っても名前が出ます。自社ページ頼みの会社は、その回に何を拾ったかで出たり消えたりします。
もう1つ、興味深い場面がありました。追加で「ランキング形式にして」と頼むと、ChatGPTは別の会社の調査記事「【2026年10月最新】AIにおすすめされているLLMO会社TOP15選 」を出典にして順位を付けました。AIの言及率を調べた記事が、そのままAIの推薦の材料になっていました。
検索を切ると、どのAIも答えられない
仮説3を確かめるため、検索なしで「LLMO対策のおすすめ会社を5社」と聞きました。
| AI | 結果 |
|---|---|
| Gemma 4 12B(ローカル) | 考えている途中で出力上限に達した。思考の中で挙がった候補は、大手広告会社などの推測 |
| Qwen 3.5 9B(ローカル) | LLMOを「LLMOps」と取り違え、大手SIerなどを検討 |
| Claude(検索オフ) | 「知りません」 |
| Gemini(検索オフ) | 「知らない」 |
対象5社も、他社リストの常連のナイル・LANYも、どのAIからも出てきませんでした。LLMO対策という市場が、これらのモデルの学習データより後にできているためです。
限界:「知らなければ知らないと答えて」という前置きは、断る答えを引き出しやすい聞き方です。確信度付きで全社を挙げさせる質問は、まだ試していません。
この結果から、このジャンルではAIの記憶にある知名度はほぼ効いておらず、推薦はその場の検索で組み立てられていると考えています。
被推薦スコア:昔のページランクの「推薦版」
ページランクは「どれだけ多くのページからリンクされているか」で評価する考え方でした。リンクの代わりに「他社の比較記事で推薦されているか」を数えれば、同じ発想で会社を評価できるのではないか。そう考えて、スコアにしてみました。
各社について、自社以外の比較リストごとに次を掛け合わせて足し合わせます。
- そのリストの見えやすさ(検索順位で割り引く)
- リスト内でのその会社の掲載位置(上ほど重い)
社名を出さない29回答で各社が何回出たかと、順位相関を取りました。対象はリストに1本以上載っている41社です。
| モデル | 順位相関 |
|---|---|
| 被推薦スコアのみ | 0.25(有意でない) |
| 自社サイトの検索順位のみ | 0.31 |
| 2つの経路の強い方 | 0.53(p<0.001) |
推薦される経路は2つありました。
- リスト経由:ナイル(出現10回、リスト57本)、LANY(9回、57本)、PLAN-B(9回、45本)、メディアリーチ(9回、46本)
- 自社ページ経由:他社リストに6本しか載っていないのに9回出た会社がありました。自社ページが3位以内にあり、ChatGPTが直接読んでいました
出現が4回以上の会社は全社、「他社リストに29本以上」か「自社ページが3位以内」のどちらかに当てはまりました。
限界:29回答・1日分の観測で、2経路の式はデータを見た後に選んでいます。別の日や別のジャンルでも同じ式が通用するか、確かめる必要があります。
説明できない4社
他社リストに31〜37本載っているのに、一度も推薦されない会社が4社ありました。
最初は「表示される会社より本数が少なく、閾値を下回っただけ」とも考えました。しかし、次の3点でこの説明は崩れます。
- 本数が同じか少ない会社は出ている。 Faberは37本で7回、CINCは34本で4回出ている
- ChatGPTが実際に読んだリストに載っていたのに、選ばれていない。 ある回答では、引用されたリストの3番目と6番目にいたこの4社のうち2社を飛ばし、8・9番目の会社を選んでいた
- 確率で出るはずの回数が出ていない。 「上位のリストを数本読み、多く載っている順に選ぶ」という単純なモデルで2,000回シミュレーションすると、4社合計で約22回出るはずだった。4社とも0回になったシミュレーションは、2,000回中0回だった
ほかにも多面的に調べましたが、4社と出ている会社をきれいに分ける要因は見つかりませんでした。
| 要因 | 4社と、出ている会社の差 |
|---|---|
| AIクローラーの拒否 | どちらも拒否なし |
| LLMOのサービスページ | 4社とも持っている |
| リストの運営元の構成、10位以内の本数、引用された本数 | ほぼ同じ |
| リスト内での掲載位置 | 4社の方がむしろ上(平均5.8〜7.3番目) |
| 日本語Wikipediaの記事 | 4社のうち1社にはある。上位常連の1社には同名のバンドの記事しかない |
| 同名の別物 | 4社ともある。ただし上位常連にも同名の別物はある |
決定的だったのは、第三者の調査です。業者選定のキーワード5語を6週間、4種類のAIに投げて言及率を追っているwakudoriの調査 があり、そこでもこの4社のうち3社がChatGPTでだけ推薦されていませんでした。
| ChatGPT | Claude | Google AI Overview | Perplexity | |
|---|---|---|---|---|
| 4社のうちの1社 | 0% | 11.7% | 35.0% | 20.0% |
| 4社のうちの1社 | 1.7% | 25.0% | 5.0% | 31.7% |
| 4社のうちの1社 | 3.3% | 20.0% | 15.0% | 11.7% |
| 比較:PLAN-B | 16.7% | 18.3% | 78.3% | 35.0% |
出典:wakudori「【2026年10月最新】AIにおすすめされているLLMO会社TOP15選 」(2026年10月6日に取得)
原因は会社側でもリスト側でもなく、ChatGPTが候補から選ぶ段階にある可能性が高いと考えています。残っている説明は2つです。
- ChatGPTのモデル自体の好み(学習データでの「SEO会社」としての馴染み)
- 候補の社名を確かめる追加検索で、同名の別物に引っ張られて落としている
社名の一覧を渡して3社を選ばせるテストで切り分ける予定です。
先行研究があった
上のwakudoriの調査を見つけたとき、正直に言うと少し悔しかったです。
ただ、重なっているのは「AIの種類ごとに各社が何%言及されるか」を測る部分だけでした。この記録で踏み込んだのは、その先の仕組みです。
- 引用された記事を、GoogleとBingの検索順位と突き合わせた
- 比較記事93本の運営元を分類して、自社1位の記事が減点されていないことを確かめた
- 2つの経路で出現を説明した
- 引用されたリストの上位を飛ばして下位を選ぶ、という選別段階の証拠を見つけた
先行調査は、1日・29回答の観測が6週間・4種類のAIの調査と同じ傾向を示した、という外部の裏付けとして使わせてもらっています。
次の段階:ほかのジャンルでも測れるか
ここまでは、LLMO対策会社という1つのジャンルの話です。地域のお店と業務用ツールでは、AIが参照する情報源の種類が違うはずです。そこで、測り方を固定して別のジャンルに広げることにしました。
ジャンルの選び方
類型ごとに傾向が出るのか、ジャンル固有の事情なのかを区別するため、2つの類型をそれぞれ2ジャンルで測ります。
| 類型 | ジャンル | 地域性 | 取引相手 | 関与度 |
|---|---|---|---|---|
| A | 歯医者(東京都練馬区) | ローカル | 一般向け | 高 |
| A | 水回りリフォーム(東京都練馬区) | ローカル | 一般向け | 高 |
| B | 勤怠管理システム | 全国 | 事業者向け | 高 |
| B | MAツール | 全国 | 事業者向け | 高 |
候補は他にもありました。
- 注文住宅: 全国のハウスメーカーが強く、地域性が薄いので外しました。
- 経費精算システム: 勤怠管理と同じ会社が提供していることが多く、独立した確認にならないので外しました。
事前に登録する仮説
質問32問の全文と取得条件は、実施内容一覧 に載せています。
この記事の公開時点で、1回目の観測(32問)を取り終えています。集計はまだしていません。
- 類型Aでは、口コミ・地図サービスの出典の比率が、比較記事より高い(2ジャンルとも)
- 類型Bでは、レビューサイトと比較記事の比率が、公式サイトより高い(2ジャンルとも)
- 同じ類型の2ジャンルの出典の構成は、違う類型どうしより似ている
取り直せないものは、最初に全部取る
LLMO対策会社の検証では、取り損ねたものがいくつもありました。パーソナライズが混入した回答、ChatGPTが実際に投げた検索語、観測中にタイトルが変わった記事などです。
そこで、次のように分けました。
- 取り直せない生データ:最初に漏れなく保存する。回答の全文と出典、観測条件、観測地点、同じ日の検索結果、引用されたページ
- 出典の分類や採点のルール:生データから再計算できるので、後から変えてよい
1回目の観測で、すでに見えたこと
- 32問中24問で、ChatGPTの回答が選択肢付きの「絞り込みフォーム」で終わった
- 練馬区の歯医者を聞くと、ChatGPTは比較サイト・区の公式ページ・歯科医師会のページを引用した。同じ質問に、GoogleのAIモードはGoogleマップの店舗情報だけ(参照20件)で答えた
計測環境と費用
- ChatGPT: 無料版をアプリで手作業。無料で、利用者と同じ画面の回答が取れる
- 検索結果とAIモード: DataForSEOのSERP API で取得。32問をGoogle検索とGoogle AIモードで取って、1回 $0.12 だった
- 使えなかったもの:
- Google Custom Search JSON API:新規登録が締め切られていて、2027年1月1日に終了する(Keirolabsのまとめ )
- Bing Web Search API:2025年8月11日に終了している(PPC Landの記事 )
- DataForSEO経由のBing:日本語の検索語に対して、歯医者の質問にソフトウェアテストの記事を返すなど、的外れな結果だった
途中で訂正したこと
| 当初の主張・やり方 | 訂正 |
|---|---|
| 一時チャットならメモリは混ざらない | 最初の3問に混入。パーソナライズの切り替えをオフにして取り直した |
| ChatGPTはBingの検索結果に従っている | Googleとの一致の方が強かった |
| Y社が総合点で首位 | 自社ページが拾われた1回分の偶然。取り下げた |
| 出典の分類は最初に固定する | URLとページを保存していれば後から作り直せる。後から変えてよい側に移した |
| Bingも自動で取得する | APIでは的外れな結果しか返らず、外した |
| コピーで回答と出典が保存できる | カード形式の回答は、コピーすると出典の一覧が落ちる。2回目から保存方法を変える |
この記録での社名の扱い
推薦された・されなかったという観測は、各社の実力や品質の評価ではありません。そのため、推薦されなかったことが焦点になる会社は、記号(X社、Y社、4社)で表記しています。第三者の公開調査に載っている数値は、出典を示したうえで、社名を伏せて引用しました。