検証記録
実施内容一覧:AIはどの会社を推薦するのか(追試用の詳細)
本編「AIはどの会社を推薦するのか」 で行った観測と計算の細部を、追試できる粒度でまとめたページです。本編の数字は、すべてこのページの手順で出しています。
社名は本編と同じ扱いにしています。推薦されなかったことが焦点になる会社は記号(X社、Y社)で表記しています。
観測条件
| 項目 | 内容 |
|---|---|
| 観測日 | 2026年10月5日(LLMO対策会社の27問)、2026年10月6日(汎用化の32問、1回目) |
| AI | ChatGPT 無料版(アプリ)。モデル名の表示はなし |
| 設定 | 一時チャット、パーソナライズなし、思考モードなし |
| 進め方 | 1問ごとに新しいチャットを開く。追加の質問は、下の表で「追撃」と書いたものだけ |
| 観測地点 | 東京都練馬区、VPNなし |
| 回答の保存 | 回答のコピーボタンで、出典リンクごと保存 |
注意:最初の3問は、一時チャットでもメモリの内容が回答に混ざりました。一時チャットの画面の「パーソナライズ」をオフにしてから取り直しています。
LLMO対策会社の質問27問
10月5日に各1回聞きました。P04〜P08は、同じ日に2回目・3回目も聞いています。
| ID | 意図 | 質問文 |
|---|---|---|
| P01 | 認知 | LLMO対策ってどこに相談すればいい? |
| P02 | 認知 | AI検索対策(GEO)を外注するなら、どんな会社を選ぶべき? |
| P03 | 認知 | ChatGPTやGoogleのAI Overviewで自社が紹介されるようにしたい。何から始めて、どこに頼めばいい? |
| P04 | 認知 | LLMO対策会社の選び方を教えて |
| P05 | 比較 | LLMO対策のおすすめ会社を5社教えて |
| P06 | 比較 | LLMO対策のおすすめ会社を比較して |
| P07 | 比較 | BtoB SaaSの会社です。LLMO対策を頼むならおすすめの会社は? |
| P08 | 比較 | 中小企業で予算は月30万円以内。LLMO対策を頼める会社はある? |
| P09 | 比較 | ECサイトのAI検索対策に強い会社は? |
| P10 | 比較 | 地方の中小企業でも依頼できるLLMO対策の会社は? |
| P11 | 比較 | LLMO対策を内製したい。使えるツールや支援してくれる会社は? |
| P12 | 比較 | LLMO対策はSEO会社に頼むのと、LLMO専門の会社に頼むのとどっちがいい? |
| P13 | 比較 | 成果報酬型でLLMO対策をしてくれる会社はある? |
| P14 | 比較 | AI検索で自社がどれくらい言及されているか、計測やレポートをしてくれる会社は? |
| P15 | 直前 | LLMO対策を依頼するときの費用相場と、実績のあるおすすめ会社を教えて |
| P16 | 直前 | LLMO対策の無料診断をやっている会社は? |
| P17 | 指名 | LLMO対策でCINCとPLAN-Bを比較して。どっちがいい? |
| P18 | 指名 | CINCのLLMO対策サービスの特徴と評判を教えて |
| P19 | 指名 | CINCにLLMO対策を頼むといくらかかる? |
| P20 | 指名 | X社のLLMO対策サービスの特徴と評判を教えて |
| P21 | 指名 | X社にLLMO対策を頼むといくらかかる? |
| P22 | 指名 | PLAN-BのLLMO対策サービスの特徴と評判を教えて |
| P23 | 指名 | PLAN-BにLLMO対策を頼むといくらかかる? |
| P24 | 指名 | Faber CompanyのLLMO対策サービスの特徴と評判を教えて |
| P25 | 指名 | Faber CompanyにLLMO対策を頼むといくらかかる? |
| P26 | 指名 | Y社のLLMO対策サービスの特徴と評判を教えて |
| P27 | 指名 | Y社にLLMO対策を頼むといくらかかる? |
追撃(追加の質問)
| 元の質問 | 追加した質問 |
|---|---|
| P04(1回目) | おすすめの会社を教えて |
| P06(2回目) | 10社ピックアップして |
| P06(2回目、続けて) | ランキング形式にしてみて |
P06の2回目は検索をせず短い一般論で終わったため、追撃を2回行いました。追撃の回答は、出現回数の集計に含めています。
検索語と検索結果の保存
ChatGPTが引用した記事の検索順位を調べるため、質問に近い検索語で、GoogleとBingの検索結果を1〜5ページ目までブラウザで保存しました(10月5日)。
| ID | 検索語 | 対応する質問 |
|---|---|---|
| Q1 | LLMO対策会社 おすすめ | P04の追撃、P05、P06 |
| Q2 | LLMO対策会社 選び方 | P04 |
| Q3 | LLMO対策 費用相場 | P15 |
| Q4 | LLMO対策会社 中小企業 | P08 |
| Q5 | LLMO対策 ツール 比較 | P11、P14 |
| Q5b | 検索最適化 ツール 比較 | P11、P14 |
| Q6 | GEO対策 会社 おすすめ | P02 |
- 順位は、広告・地図枠・AIの枠を除いた通常の検索結果で数えた
- GoogleのリンクはURLが暗号化されているため、タイトルと表示ドメインで照合した
- 引用されたURLとの照合では、
utm_sourceなどのパラメータと末尾のスラッシュを除いた
比較記事の分類ルール
Q1〜Q6の検索結果に出てきたページのうち、次の条件を満たすものを「比較リスト」としました(93本)。
- タイトルかURLに「選」「社」「比較」「おすすめ」「ランキング」のいずれかを含む
- 見出しや一覧に、会社らしき項目(株式会社・合同会社・有限会社・Inc. を含む)が3つ以上並ぶ
運営元は、そのページのドメインと、リスト内の掲載企業を照合して分類しました。
| 分類 | 判定 |
|---|---|
| 自社を1位に掲載 | 運営元の会社が、リストの1番目にいる |
| 自社を2位以下に掲載 | 運営元の会社が、2番目以降にいる |
| 自社を掲載しない(中立) | 運営元の会社が、リストにいない |
| 運営元不明 | noteなど、運営元の会社を特定できない |
評価式とパラメータ
1回答のスコアは次のとおりです。
S = 100 × w_F(F) × P(r) × A × Q、P(r) = exp(−λ(r−1))
| 記号 | 意味 | 値(事業者向けの設定) |
|---|---|---|
| F | 使われ方。0=出ない、1=リンクのみ、2=社名だけ、3=事実や数字が出典付きで引用される、4=推薦や結論の根拠 | — |
| w_F(F) | 使われ方の重み | F=1:0.3、F=2:0.5、F=3:0.75、F=4:1.0 |
| r | 回答の中での登場順 | — |
| λ | 順位の減衰率 | 0.2 |
| A | 帰属(出典が正しく示されているか) | 1 / 0.5 / 0 |
| Q | 忠実度(内容が事実と合っているか) | 1 / 0.5 / −1 |
| ω | 質問の意図の重み | 認知 0.6、比較 1.0、直前 0.8、指名 0(集計から除く) |
被推薦スコアの計算
会社 e のスコアは、e が掲載されている比較リスト d(e 自身が運営するリストは除く)について足し合わせます。
R(e) = Σ exp(−μ(best_d − 1)) × exp(−ν(pos_e,d − 1))
| 記号 | 意味 | 値 |
|---|---|---|
| best_d | リスト d のGoogle・Bingでの最高順位。どちらにも出ない場合は60 | — |
| pos_e,d | リスト d の掲載企業一覧での e の順番 | — |
| μ | リストの順位の減衰率 | 0.1 |
| ν | 掲載位置の減衰率 | 0.1 |
2経路のスコア:max(R(e) ÷ 全社の最大値, exp(−μ(own_e − 1)))。own_e は、e の自社サイトのページが7つの検索語で取った最高順位で、出ない場合は0点。
答え合わせ:社名を出さない質問の29回答(P01〜P16の1回目、P04の追撃、P04〜P08の2・3回目、P06の追撃2回)で、各社の社名が本文に出た回数を数えた。出典の一覧に出ただけのものは数えない。各社との順位相関(スピアマン)を取った。
4社のシミュレーション
「回答ごとに比較リストを数本読み、多く載っている順に選ぶ」という単純なモデルで、回答を再現しました。
- 回答ごとに、93本のリストから4本を選ぶ。選ばれやすさは exp(−0.1(best_d − 1))
- 選んだリストの各社に exp(−0.1(pos − 1)) 点を足す。運営元の会社には1点
- 点の高い順に、実際の回答と同じ社数を選ぶ
- 29回答分を1セットとして、2,000回繰り返す(乱数の種は0)
検索なしテスト
各AIに、新しいチャットで次の2文を続けて送りました。
ウェブ検索は使わず、学習済みの知識だけで答えてください。知らないこと・自信がないことは、推測せず「知らない」と答えてください。 日本でLLMO対策(生成AI検索対策。GEO・AIO対策とも呼ばれる)を依頼するなら、おすすめの会社を5社挙げて、それぞれ一言で特徴を教えてください。
| AI | 設定 |
|---|---|
| Gemma 4 12B | LM Studioでローカル実行。1文目と同じ趣旨の指示をシステムプロンプトとして渡した |
| Qwen 3.5 9B | 同上 |
| Claude | ウェブ検索をオフ |
| Gemini | 検索なし |
汎用化の質問32問
10月6日から、同じ測り方を4ジャンルに広げています。質問はジャンルごとに8問で、意図の配分は共通です(認知2・比較2・条件指定3・直前1)。
| ID | ジャンル | 意図 | 質問文 | 検索語 |
|---|---|---|---|---|
| D01 | 歯医者(練馬区) | 認知 | 練馬区で歯医者を探すとき、何を基準に選べばいい? | 歯医者 選び方 |
| D02 | 歯医者(練馬区) | 認知 | 練馬区で評判のいい歯医者の探し方を教えて | 練馬区 歯医者 評判 |
| D03 | 歯医者(練馬区) | 比較 | 練馬区でおすすめの歯医者を教えて | 練馬区 歯医者 おすすめ |
| D04 | 歯医者(練馬区) | 比較 | 練馬区の歯医者を何軒か比較して | 練馬区 歯医者 比較 |
| D05 | 歯医者(練馬区) | 条件 | 練馬区で土日も診療している歯医者は? | 練馬区 歯医者 土日 |
| D06 | 歯医者(練馬区) | 条件 | 練馬区でインプラントの相談ができる歯医者を教えて | 練馬区 インプラント |
| D07 | 歯医者(練馬区) | 条件 | 練馬区で子どもを連れて行きやすい歯医者は? | 練馬区 小児歯科 |
| D08 | 歯医者(練馬区) | 直前 | 練馬区で今日予約できる歯医者はある? | 練馬区 歯医者 当日予約 |
| R01 | 水回りリフォーム(練馬区) | 認知 | 練馬区で水回りリフォームを頼むなら、どんな業者を選べばいい? | 水回りリフォーム 業者 選び方 |
| R02 | 水回りリフォーム(練馬区) | 認知 | 水回りリフォームの業者選びで失敗しないポイントは?練馬区に住んでいます | 水回りリフォーム 失敗 |
| R03 | 水回りリフォーム(練馬区) | 比較 | 練馬区で水回りリフォームのおすすめ業者を教えて | 練馬区 水回りリフォーム おすすめ |
| R04 | 水回りリフォーム(練馬区) | 比較 | 練馬区の水回りリフォーム会社を比較して | 練馬区 リフォーム会社 比較 |
| R05 | 水回りリフォーム(練馬区) | 条件 | 練馬区で浴室リフォームのおすすめ業者は? | 練馬区 浴室リフォーム |
| R06 | 水回りリフォーム(練馬区) | 条件 | 練馬区でキッチンリフォームが安い業者は? | 練馬区 キッチンリフォーム 安い |
| R07 | 水回りリフォーム(練馬区) | 条件 | 練馬区でトイレ交換を頼めるリフォーム業者は? | 練馬区 トイレ交換 |
| R08 | 水回りリフォーム(練馬区) | 直前 | 練馬区で水回りリフォームの見積もりを今週中に取れる業者は? | 練馬区 水回りリフォーム 見積もり |
| K01 | 勤怠管理システム | 認知 | 勤怠管理システムって何を基準に選べばいい? | 勤怠管理システム 選び方 |
| K02 | 勤怠管理システム | 認知 | 勤怠管理システムを導入するときの注意点は? | 勤怠管理システム 導入 注意点 |
| K03 | 勤怠管理システム | 比較 | おすすめの勤怠管理システムを教えて | 勤怠管理システム おすすめ |
| K04 | 勤怠管理システム | 比較 | 勤怠管理システムを比較して | 勤怠管理システム 比較 |
| K05 | 勤怠管理システム | 条件 | 従業員50人くらいの会社に合う勤怠管理システムは? | 勤怠管理システム 中小企業 |
| K06 | 勤怠管理システム | 条件 | 無料で使える勤怠管理システムは? | 勤怠管理システム 無料 |
| K07 | 勤怠管理システム | 条件 | シフト制の飲食店に向いた勤怠管理システムは? | 勤怠管理システム 飲食店 |
| K08 | 勤怠管理システム | 直前 | 来月から使える、すぐ導入できる勤怠管理システムは? | 勤怠管理システム すぐ導入 |
| M01 | MAツール | 認知 | MAツールって何を基準に選べばいい? | MAツール 選び方 |
| M02 | MAツール | 認知 | MAツールを導入するときの注意点は? | MAツール 導入 注意点 |
| M03 | MAツール | 比較 | おすすめのMAツールを教えて | MAツール おすすめ |
| M04 | MAツール | 比較 | MAツールを比較して | MAツール 比較 |
| M05 | MAツール | 条件 | BtoB企業向けのMAツールでおすすめは? | MAツール BtoB |
| M06 | MAツール | 条件 | 中小企業でも使える安いMAツールは? | MAツール 安い 中小企業 |
| M07 | MAツール | 条件 | Salesforceと連携しやすいMAツールは? | MAツール Salesforce 連携 |
| M08 | MAツール | 直前 | 無料トライアルがあってすぐ試せるMAツールは? | MAツール 無料トライアル |
検索結果とAIモードの取得条件
| 項目 | 内容 |
|---|---|
| 取得方法 | DataForSEOのSERP API (標準のキュー方式) |
| 対象 | Google検索(上位50位まで要求)、Google AIモード |
| AIモードに送る文 | 検索語ではなく、上の質問文をそのまま送る |
| 言語・端末 | 日本語、デスクトップ(Windows) |
| 地域 | 歯医者・水回りリフォームは「Nerima City,Tokyo,Japan」、勤怠管理システム・MAツールは「Japan」 |
| 取得の時期 | ChatGPTに聞いた日と同じ日 |
| 費用 | 32問 × 2種類で1回 $0.12 |
Bingも同じAPIで試しましたが、日本語の検索語に対して無関係な結果(歯医者の質問にソフトウェアテストの記事など)が返ったため、対象から外しました。
参照した外部の資料
- wakudori「【2026年10月最新】AIにおすすめされているLLMO会社TOP15選 」(2026年10月6日に取得)
- DataForSEO
- Keirolabs「Google search APIs in 2026」 (Google Custom Search JSON APIの終了について)
- PPC Land「Microsoft ends Bing Search APIs on August 11」 (Bing Search APIの終了について)