ASAHI44.NET

検証記録

AIはどの会社を推薦するのか:LLMO支援会社を題材にした検証記録(2026年10月5〜7日)

「LLMO対策の成果は、数百〜数千のプロンプトに対するAI回答での言及率で測る」。ある支援会社のイベントで、そう説明されていました。

言い回しを変えた質問を大量に投げるのは、力技に見えます。AIは質問の意味を解釈して答えるので、効いているのは言い回しより、意図と具体的な語ではないか。そう考えて、少ない質問で測れる評価のしかたを作るところから始めました。

題材には、LLMO対策の支援会社そのものを選びました。今、日本で一番LLMO対策に力を入れているのは、それを売っている支援会社のはずです。 その会社たちがAIにどう推薦されているかを見れば、LLMO対策で何が効いているのかが一番はっきり見えるだろう、と考えました。

この記事は、10月5日から7日までの3日間の記録です。結論だけでなく、立てては崩した仮説と、途中で訂正した主張もそのまま残します。要点だけを知りたい場合は、最初の「先に結論」だけで足ります。実際に投げた質問、検索語、式のパラメータなど、追試に必要な細部は別ページの実施内容一覧 にまとめました。

先に結論

  • ChatGPTの推薦は、ほぼすべてその場の検索で組み立てられていた。検索を切ると、どのAIもLLMO対策会社を1社も挙げられなかった
  • 検索順位は「候補に入るための入口」だった。Google・Bingの両方で10位以内の記事は全部引用された一方で、上から順には取っていなかった
  • 推薦を分けていたのは、他社の比較記事に社名が載っている本数だった。多く載っている会社は、引用された記事が丸ごと入れ替わっても回答に残った
  • 「他社リストへの掲載」と「自社ページの検索順位」の2つの経路を組み合わせると、AI回答への出現の順位相関は0.53(p<0.001)になった。どちらか片方だけでは0.25〜0.31にとどまった
  • ただし、他社リストに30本以上載っているのに一度も推薦されない会社が4社あった。第三者の6週間の調査でも同じ傾向が出ており、ChatGPTだけが外していた。原因はまだ分かっていない

測り方

評価の式

1回の回答ごとに、対象の会社がどう扱われたかを点数にしました。

  • 使われ方 F:0=出ない、1=リンクのみ、2=社名だけ、3=事実や数字が引用される、4=推薦や結論の根拠になる
  • 順位 r:回答の中で何番目に出たか。下に行くほど指数的に割り引く(P(r) = exp(−0.2(r−1)))
  • 帰属 A・忠実度 Q:出典が正しく示されているか、内容が事実と合っているか

1回答のスコアは S = 100 × w_F(F) × P(r) × A × Q です。これを質問の意図(認知・比較・直前)ごとに重み付けして集計しました。係数の値は実施内容一覧 に載せています。

観測条件

ChatGPTの無料版を、アプリから手作業で使いました。APIの回答はアプリと異なるうえ、実際の利用者が見ているのはアプリだからです。

  • 一時チャット、パーソナライズなし、思考モードなし
  • 1問ごとに新しいチャットを開き、追加の質問はしない(決めたものだけ例外)
  • 対象は、LLMO対策を提供している支援会社5社

最初の失敗:最初の3問は、一時チャットでもメモリの内容が回答に混ざっていました。一時チャットの画面には「パーソナライズ」の切り替えがあり、それをオフにしてから取り直しています。混ざった3件は別フォルダに分けて残しました。

観測1:27問を1回ずつ

社名を出さない質問(「LLMO対策会社のおすすめは?」など)と、社名を出す質問を合わせて27問を聞きました。

  • 回答に出た会社・ツールは延べ79件、52社。52社中40社は1回しか出てこない
  • 会社の紹介文の根拠が、その会社自身のサイトや記事だった割合は49%。筆頭で推薦された会社に限ると66%
  • 「予算」「EC」「地方」「成果報酬」などの条件語を1つ足すだけで、推薦される会社がほぼ入れ替わる

1回目の集計では、対象5社のうちY社が総合点で首位になりました。後で取り消すことになる結果です。

検索順位との関係

ChatGPTが引用した比較記事が、GoogleとBingで何位にあったかを調べました。質問に近い検索語で、両方の上位約50位を保存して突き合わせています。

引用された比較記事20本 Google Bing 両方
10位以内 7本 5本 3本
50位以内 14本 6本 6本
  • 両方で10位以内だった3本は、すべて引用された
  • Bingの50位以内にあった記事は、すべてGoogleの50位以内にもあった。ChatGPTの候補はGoogleの順位との一致の方が強い
  • 上から順には取っていない。 ある質問では、Googleの1〜5位を飛ばして6・19・21・39位を引用していた
  • 言葉が1つ違うと、候補の記事が丸ごと入れ替わる。 「LLMO対策 ツール 比較」に近い質問では引用0本。「検索最適化 ツール 比較」に変えると、Google 5位・Bing 8位の記事が引用された

訂正:当初、「ChatGPTはBingの検索結果に従っている」と書きかけていました。データを見るとGoogleとの一致の方が強く、主張を取り下げています。

上位にあるのに、引用されない記事

X社の比較記事は、4つの検索語でGoogleの3位以内にありました。それでも、社名を出さない質問では一度も引用されませんでした。robots.txtでAIのクローラーを拒否していたわけではなく、社名を出して聞くと、記事はきちんと読まれています。

理由として、4つの仮説を立てて順に確かめました。

仮説 確かめ方 結果
1. AIの好みで低く見られている(自社を1位にした比較記事への減点) 自社1位の記事と中立の記事の引用率を比べる 支持されない
2. 他社の媒体に載っていない 他社の比較記事への掲載数を数える 強く支持
3. AIの記憶の中での評価が低い 検索を切って推薦させる 差がない(全社が記憶にない)
4. たまたま 同じ質問を3回聞く 否定。3回とも引用されず、社名は2回とも5番目

比較記事93本の運営元

検索結果から集めた比較リスト93本を、運営元で分類しました。

運営元 本数 引用された本数 うち10位以内 10位以内で引用
自社を1位に掲載 59 7(12%) 24 6(25%)
自社を掲載しない(中立) 22 2(9%) 6 2(33%)
運営元不明 10 0 2 0
自社を2位以下に掲載 2 0 1 0

「LLMO対策会社おすすめ」のリストの63%は、支援会社自身が自社を1位に置いたものでした。中立の第三者メディアは少数です。それでも、自社1位の記事が引用されにくいということはありませんでした。引用率を分けていたのは運営元より検索順位で、10位以内に限ると引用率は2〜4倍になります。

他社の比較記事に何本載っているか

各社が、自社以外の比較記事の「掲載企業の一覧」に何本入っているかを数えました(93本のうち、その会社自身が運営する記事を除く)。

会社 他社の比較記事への掲載
LANY 57本
ナイル 57本
メディアリーチ 46本
PLAN-B 45本
Faber Company 37本
CINC 34本
Y社 4本
X社 2本

X社は、自社の記事では自社を1位に置いています。しかし、他社の記事にはほとんど載っていません。

繰り返して分かったこと:Y社の首位は偶然だった

いくつかの質問を2回目・3回目と聞き直しました。

  • ある質問の2回目と3回目は、引用された記事が1本も重ならなかった。それでも、ナイル・LANY・Faberは両方の回答に出た
  • Y社は、2回目・3回目では一度も出なかった。Y社の自社ページが検索で拾われた回だけ、1位になっていた

訂正:1回目の集計の「Y社が首位」は偶然で、取り下げました。他社のリストに多く載っている会社は、ChatGPTがどの記事を拾っても名前が出ます。自社ページ頼みの会社は、その回に何を拾ったかで出たり消えたりします。

もう1つ、興味深い場面がありました。追加で「ランキング形式にして」と頼むと、ChatGPTは別の会社の調査記事「【2026年10月最新】AIにおすすめされているLLMO会社TOP15選 」を出典にして順位を付けました。AIの言及率を調べた記事が、そのままAIの推薦の材料になっていました。

検索を切ると、どのAIも答えられない

仮説3を確かめるため、検索なしで「LLMO対策のおすすめ会社を5社」と聞きました。

AI 結果
Gemma 4 12B(ローカル) 考えている途中で出力上限に達した。思考の中で挙がった候補は、大手広告会社などの推測
Qwen 3.5 9B(ローカル) LLMOを「LLMOps」と取り違え、大手SIerなどを検討
Claude(検索オフ) 「知りません」
Gemini(検索オフ) 「知らない」

対象5社も、他社リストの常連のナイル・LANYも、どのAIからも出てきませんでした。LLMO対策という市場が、これらのモデルの学習データより後にできているためです。

限界:「知らなければ知らないと答えて」という前置きは、断る答えを引き出しやすい聞き方です。確信度付きで全社を挙げさせる質問は、まだ試していません。

この結果から、このジャンルではAIの記憶にある知名度はほぼ効いておらず、推薦はその場の検索で組み立てられていると考えています。

被推薦スコア:昔のページランクの「推薦版」

ページランクは「どれだけ多くのページからリンクされているか」で評価する考え方でした。リンクの代わりに「他社の比較記事で推薦されているか」を数えれば、同じ発想で会社を評価できるのではないか。そう考えて、スコアにしてみました。

各社について、自社以外の比較リストごとに次を掛け合わせて足し合わせます。

  • そのリストの見えやすさ(検索順位で割り引く)
  • リスト内でのその会社の掲載位置(上ほど重い)

社名を出さない29回答で各社が何回出たかと、順位相関を取りました。対象はリストに1本以上載っている41社です。

モデル 順位相関
被推薦スコアのみ 0.25(有意でない)
自社サイトの検索順位のみ 0.31
2つの経路の強い方 0.53(p<0.001)

推薦される経路は2つありました。

  • リスト経由:ナイル(出現10回、リスト57本)、LANY(9回、57本)、PLAN-B(9回、45本)、メディアリーチ(9回、46本)
  • 自社ページ経由:他社リストに6本しか載っていないのに9回出た会社がありました。自社ページが3位以内にあり、ChatGPTが直接読んでいました

出現が4回以上の会社は全社、「他社リストに29本以上」か「自社ページが3位以内」のどちらかに当てはまりました。

限界:29回答・1日分の観測で、2経路の式はデータを見た後に選んでいます。別の日や別のジャンルでも同じ式が通用するか、確かめる必要があります。

説明できない4社

他社リストに31〜37本載っているのに、一度も推薦されない会社が4社ありました。

最初は「表示される会社より本数が少なく、閾値を下回っただけ」とも考えました。しかし、次の3点でこの説明は崩れます。

  1. 本数が同じか少ない会社は出ている。 Faberは37本で7回、CINCは34本で4回出ている
  2. ChatGPTが実際に読んだリストに載っていたのに、選ばれていない。 ある回答では、引用されたリストの3番目と6番目にいたこの4社のうち2社を飛ばし、8・9番目の会社を選んでいた
  3. 確率で出るはずの回数が出ていない。 「上位のリストを数本読み、多く載っている順に選ぶ」という単純なモデルで2,000回シミュレーションすると、4社合計で約22回出るはずだった。4社とも0回になったシミュレーションは、2,000回中0回だった

ほかにも多面的に調べましたが、4社と出ている会社をきれいに分ける要因は見つかりませんでした。

要因 4社と、出ている会社の差
AIクローラーの拒否 どちらも拒否なし
LLMOのサービスページ 4社とも持っている
リストの運営元の構成、10位以内の本数、引用された本数 ほぼ同じ
リスト内での掲載位置 4社の方がむしろ上(平均5.8〜7.3番目)
日本語Wikipediaの記事 4社のうち1社にはある。上位常連の1社には同名のバンドの記事しかない
同名の別物 4社ともある。ただし上位常連にも同名の別物はある

決定的だったのは、第三者の調査です。業者選定のキーワード5語を6週間、4種類のAIに投げて言及率を追っているwakudoriの調査 があり、そこでもこの4社のうち3社がChatGPTでだけ推薦されていませんでした。

ChatGPT Claude Google AI Overview Perplexity
4社のうちの1社 0% 11.7% 35.0% 20.0%
4社のうちの1社 1.7% 25.0% 5.0% 31.7%
4社のうちの1社 3.3% 20.0% 15.0% 11.7%
比較:PLAN-B 16.7% 18.3% 78.3% 35.0%

出典:wakudori「【2026年10月最新】AIにおすすめされているLLMO会社TOP15選 」(2026年10月6日に取得)

原因は会社側でもリスト側でもなく、ChatGPTが候補から選ぶ段階にある可能性が高いと考えています。残っている説明は2つです。

  • ChatGPTのモデル自体の好み(学習データでの「SEO会社」としての馴染み)
  • 候補の社名を確かめる追加検索で、同名の別物に引っ張られて落としている

社名の一覧を渡して3社を選ばせるテストで切り分ける予定です。

先行研究があった

上のwakudoriの調査を見つけたとき、正直に言うと少し悔しかったです。

ただ、重なっているのは「AIの種類ごとに各社が何%言及されるか」を測る部分だけでした。この記録で踏み込んだのは、その先の仕組みです。

  • 引用された記事を、GoogleとBingの検索順位と突き合わせた
  • 比較記事93本の運営元を分類して、自社1位の記事が減点されていないことを確かめた
  • 2つの経路で出現を説明した
  • 引用されたリストの上位を飛ばして下位を選ぶ、という選別段階の証拠を見つけた

先行調査は、1日・29回答の観測が6週間・4種類のAIの調査と同じ傾向を示した、という外部の裏付けとして使わせてもらっています。

次の段階:ほかのジャンルでも測れるか

ここまでは、LLMO対策会社という1つのジャンルの話です。地域のお店と業務用ツールでは、AIが参照する情報源の種類が違うはずです。そこで、測り方を固定して別のジャンルに広げることにしました。

ジャンルの選び方

類型ごとに傾向が出るのか、ジャンル固有の事情なのかを区別するため、2つの類型をそれぞれ2ジャンルで測ります。

類型 ジャンル 地域性 取引相手 関与度
A 歯医者(東京都練馬区) ローカル 一般向け 高
A 水回りリフォーム(東京都練馬区) ローカル 一般向け 高
B 勤怠管理システム 全国 事業者向け 高
B MAツール 全国 事業者向け 高

候補は他にもありました。

  • 注文住宅: 全国のハウスメーカーが強く、地域性が薄いので外しました。
  • 経費精算システム: 勤怠管理と同じ会社が提供していることが多く、独立した確認にならないので外しました。

事前に登録する仮説

質問32問の全文と取得条件は、実施内容一覧 に載せています。

この記事の公開時点で、1回目の観測(32問)を取り終えています。集計はまだしていません。

  1. 類型Aでは、口コミ・地図サービスの出典の比率が、比較記事より高い(2ジャンルとも)
  2. 類型Bでは、レビューサイトと比較記事の比率が、公式サイトより高い(2ジャンルとも)
  3. 同じ類型の2ジャンルの出典の構成は、違う類型どうしより似ている

取り直せないものは、最初に全部取る

LLMO対策会社の検証では、取り損ねたものがいくつもありました。パーソナライズが混入した回答、ChatGPTが実際に投げた検索語、観測中にタイトルが変わった記事などです。

そこで、次のように分けました。

  • 取り直せない生データ:最初に漏れなく保存する。回答の全文と出典、観測条件、観測地点、同じ日の検索結果、引用されたページ
  • 出典の分類や採点のルール:生データから再計算できるので、後から変えてよい

1回目の観測で、すでに見えたこと

  • 32問中24問で、ChatGPTの回答が選択肢付きの「絞り込みフォーム」で終わった
  • 練馬区の歯医者を聞くと、ChatGPTは比較サイト・区の公式ページ・歯科医師会のページを引用した。同じ質問に、GoogleのAIモードはGoogleマップの店舗情報だけ(参照20件)で答えた

計測環境と費用

  • ChatGPT: 無料版をアプリで手作業。無料で、利用者と同じ画面の回答が取れる
  • 検索結果とAIモード: DataForSEOのSERP API で取得。32問をGoogle検索とGoogle AIモードで取って、1回 $0.12 だった
  • 使えなかったもの:
    • Google Custom Search JSON API:新規登録が締め切られていて、2027年1月1日に終了する(Keirolabsのまとめ )
    • Bing Web Search API:2025年8月11日に終了している(PPC Landの記事 )
    • DataForSEO経由のBing:日本語の検索語に対して、歯医者の質問にソフトウェアテストの記事を返すなど、的外れな結果だった

途中で訂正したこと

当初の主張・やり方 訂正
一時チャットならメモリは混ざらない 最初の3問に混入。パーソナライズの切り替えをオフにして取り直した
ChatGPTはBingの検索結果に従っている Googleとの一致の方が強かった
Y社が総合点で首位 自社ページが拾われた1回分の偶然。取り下げた
出典の分類は最初に固定する URLとページを保存していれば後から作り直せる。後から変えてよい側に移した
Bingも自動で取得する APIでは的外れな結果しか返らず、外した
コピーで回答と出典が保存できる カード形式の回答は、コピーすると出典の一覧が落ちる。2回目から保存方法を変える

この記録での社名の扱い

推薦された・されなかったという観測は、各社の実力や品質の評価ではありません。そのため、推薦されなかったことが焦点になる会社は、記号(X社、Y社、4社)で表記しています。第三者の公開調査に載っている数値は、出典を示したうえで、社名を伏せて引用しました。