ASAHI44.NET

検証記録

実施内容一覧:AIはどの会社を推薦するのか(追試用の詳細)

本編「AIはどの会社を推薦するのか」 で行った観測と計算の細部を、追試できる粒度でまとめたページです。本編の数字は、すべてこのページの手順で出しています。

社名は本編と同じ扱いにしています。推薦されなかったことが焦点になる会社は記号(X社、Y社)で表記しています。

観測条件

項目 内容
観測日 2026年10月5日(LLMO対策会社の27問)、2026年10月6日(汎用化の32問、1回目)
AI ChatGPT 無料版(アプリ)。モデル名の表示はなし
設定 一時チャット、パーソナライズなし、思考モードなし
進め方 1問ごとに新しいチャットを開く。追加の質問は、下の表で「追撃」と書いたものだけ
観測地点 東京都練馬区、VPNなし
回答の保存 回答のコピーボタンで、出典リンクごと保存

注意:最初の3問は、一時チャットでもメモリの内容が回答に混ざりました。一時チャットの画面の「パーソナライズ」をオフにしてから取り直しています。

LLMO対策会社の質問27問

10月5日に各1回聞きました。P04〜P08は、同じ日に2回目・3回目も聞いています。

ID 意図 質問文
P01 認知 LLMO対策ってどこに相談すればいい?
P02 認知 AI検索対策(GEO)を外注するなら、どんな会社を選ぶべき?
P03 認知 ChatGPTやGoogleのAI Overviewで自社が紹介されるようにしたい。何から始めて、どこに頼めばいい?
P04 認知 LLMO対策会社の選び方を教えて
P05 比較 LLMO対策のおすすめ会社を5社教えて
P06 比較 LLMO対策のおすすめ会社を比較して
P07 比較 BtoB SaaSの会社です。LLMO対策を頼むならおすすめの会社は?
P08 比較 中小企業で予算は月30万円以内。LLMO対策を頼める会社はある?
P09 比較 ECサイトのAI検索対策に強い会社は?
P10 比較 地方の中小企業でも依頼できるLLMO対策の会社は?
P11 比較 LLMO対策を内製したい。使えるツールや支援してくれる会社は?
P12 比較 LLMO対策はSEO会社に頼むのと、LLMO専門の会社に頼むのとどっちがいい?
P13 比較 成果報酬型でLLMO対策をしてくれる会社はある?
P14 比較 AI検索で自社がどれくらい言及されているか、計測やレポートをしてくれる会社は?
P15 直前 LLMO対策を依頼するときの費用相場と、実績のあるおすすめ会社を教えて
P16 直前 LLMO対策の無料診断をやっている会社は?
P17 指名 LLMO対策でCINCとPLAN-Bを比較して。どっちがいい?
P18 指名 CINCのLLMO対策サービスの特徴と評判を教えて
P19 指名 CINCにLLMO対策を頼むといくらかかる?
P20 指名 X社のLLMO対策サービスの特徴と評判を教えて
P21 指名 X社にLLMO対策を頼むといくらかかる?
P22 指名 PLAN-BのLLMO対策サービスの特徴と評判を教えて
P23 指名 PLAN-BにLLMO対策を頼むといくらかかる?
P24 指名 Faber CompanyのLLMO対策サービスの特徴と評判を教えて
P25 指名 Faber CompanyにLLMO対策を頼むといくらかかる?
P26 指名 Y社のLLMO対策サービスの特徴と評判を教えて
P27 指名 Y社にLLMO対策を頼むといくらかかる?

追撃(追加の質問)

元の質問 追加した質問
P04(1回目) おすすめの会社を教えて
P06(2回目) 10社ピックアップして
P06(2回目、続けて) ランキング形式にしてみて

P06の2回目は検索をせず短い一般論で終わったため、追撃を2回行いました。追撃の回答は、出現回数の集計に含めています。

検索語と検索結果の保存

ChatGPTが引用した記事の検索順位を調べるため、質問に近い検索語で、GoogleとBingの検索結果を1〜5ページ目までブラウザで保存しました(10月5日)。

ID 検索語 対応する質問
Q1 LLMO対策会社 おすすめ P04の追撃、P05、P06
Q2 LLMO対策会社 選び方 P04
Q3 LLMO対策 費用相場 P15
Q4 LLMO対策会社 中小企業 P08
Q5 LLMO対策 ツール 比較 P11、P14
Q5b 検索最適化 ツール 比較 P11、P14
Q6 GEO対策 会社 おすすめ P02
  • 順位は、広告・地図枠・AIの枠を除いた通常の検索結果で数えた
  • GoogleのリンクはURLが暗号化されているため、タイトルと表示ドメインで照合した
  • 引用されたURLとの照合では、utm_source などのパラメータと末尾のスラッシュを除いた

比較記事の分類ルール

Q1〜Q6の検索結果に出てきたページのうち、次の条件を満たすものを「比較リスト」としました(93本)。

  • タイトルかURLに「選」「社」「比較」「おすすめ」「ランキング」のいずれかを含む
  • 見出しや一覧に、会社らしき項目(株式会社・合同会社・有限会社・Inc. を含む)が3つ以上並ぶ

運営元は、そのページのドメインと、リスト内の掲載企業を照合して分類しました。

分類 判定
自社を1位に掲載 運営元の会社が、リストの1番目にいる
自社を2位以下に掲載 運営元の会社が、2番目以降にいる
自社を掲載しない(中立) 運営元の会社が、リストにいない
運営元不明 noteなど、運営元の会社を特定できない

評価式とパラメータ

1回答のスコアは次のとおりです。

S = 100 × w_F(F) × P(r) × A × Q、P(r) = exp(−λ(r−1))

記号 意味 値(事業者向けの設定)
F 使われ方。0=出ない、1=リンクのみ、2=社名だけ、3=事実や数字が出典付きで引用される、4=推薦や結論の根拠 —
w_F(F) 使われ方の重み F=1:0.3、F=2:0.5、F=3:0.75、F=4:1.0
r 回答の中での登場順 —
λ 順位の減衰率 0.2
A 帰属(出典が正しく示されているか) 1 / 0.5 / 0
Q 忠実度(内容が事実と合っているか) 1 / 0.5 / −1
ω 質問の意図の重み 認知 0.6、比較 1.0、直前 0.8、指名 0(集計から除く)

被推薦スコアの計算

会社 e のスコアは、e が掲載されている比較リスト d(e 自身が運営するリストは除く)について足し合わせます。

R(e) = Σ exp(−μ(best_d − 1)) × exp(−ν(pos_e,d − 1))

記号 意味 値
best_d リスト d のGoogle・Bingでの最高順位。どちらにも出ない場合は60 —
pos_e,d リスト d の掲載企業一覧での e の順番 —
μ リストの順位の減衰率 0.1
ν 掲載位置の減衰率 0.1

2経路のスコア:max(R(e) ÷ 全社の最大値, exp(−μ(own_e − 1)))。own_e は、e の自社サイトのページが7つの検索語で取った最高順位で、出ない場合は0点。

答え合わせ:社名を出さない質問の29回答(P01〜P16の1回目、P04の追撃、P04〜P08の2・3回目、P06の追撃2回)で、各社の社名が本文に出た回数を数えた。出典の一覧に出ただけのものは数えない。各社との順位相関(スピアマン)を取った。

4社のシミュレーション

「回答ごとに比較リストを数本読み、多く載っている順に選ぶ」という単純なモデルで、回答を再現しました。

  1. 回答ごとに、93本のリストから4本を選ぶ。選ばれやすさは exp(−0.1(best_d − 1))
  2. 選んだリストの各社に exp(−0.1(pos − 1)) 点を足す。運営元の会社には1点
  3. 点の高い順に、実際の回答と同じ社数を選ぶ
  4. 29回答分を1セットとして、2,000回繰り返す(乱数の種は0)

検索なしテスト

各AIに、新しいチャットで次の2文を続けて送りました。

ウェブ検索は使わず、学習済みの知識だけで答えてください。知らないこと・自信がないことは、推測せず「知らない」と答えてください。 日本でLLMO対策(生成AI検索対策。GEO・AIO対策とも呼ばれる)を依頼するなら、おすすめの会社を5社挙げて、それぞれ一言で特徴を教えてください。

AI 設定
Gemma 4 12B LM Studioでローカル実行。1文目と同じ趣旨の指示をシステムプロンプトとして渡した
Qwen 3.5 9B 同上
Claude ウェブ検索をオフ
Gemini 検索なし

汎用化の質問32問

10月6日から、同じ測り方を4ジャンルに広げています。質問はジャンルごとに8問で、意図の配分は共通です(認知2・比較2・条件指定3・直前1)。

ID ジャンル 意図 質問文 検索語
D01 歯医者(練馬区) 認知 練馬区で歯医者を探すとき、何を基準に選べばいい? 歯医者 選び方
D02 歯医者(練馬区) 認知 練馬区で評判のいい歯医者の探し方を教えて 練馬区 歯医者 評判
D03 歯医者(練馬区) 比較 練馬区でおすすめの歯医者を教えて 練馬区 歯医者 おすすめ
D04 歯医者(練馬区) 比較 練馬区の歯医者を何軒か比較して 練馬区 歯医者 比較
D05 歯医者(練馬区) 条件 練馬区で土日も診療している歯医者は? 練馬区 歯医者 土日
D06 歯医者(練馬区) 条件 練馬区でインプラントの相談ができる歯医者を教えて 練馬区 インプラント
D07 歯医者(練馬区) 条件 練馬区で子どもを連れて行きやすい歯医者は? 練馬区 小児歯科
D08 歯医者(練馬区) 直前 練馬区で今日予約できる歯医者はある? 練馬区 歯医者 当日予約
R01 水回りリフォーム(練馬区) 認知 練馬区で水回りリフォームを頼むなら、どんな業者を選べばいい? 水回りリフォーム 業者 選び方
R02 水回りリフォーム(練馬区) 認知 水回りリフォームの業者選びで失敗しないポイントは?練馬区に住んでいます 水回りリフォーム 失敗
R03 水回りリフォーム(練馬区) 比較 練馬区で水回りリフォームのおすすめ業者を教えて 練馬区 水回りリフォーム おすすめ
R04 水回りリフォーム(練馬区) 比較 練馬区の水回りリフォーム会社を比較して 練馬区 リフォーム会社 比較
R05 水回りリフォーム(練馬区) 条件 練馬区で浴室リフォームのおすすめ業者は? 練馬区 浴室リフォーム
R06 水回りリフォーム(練馬区) 条件 練馬区でキッチンリフォームが安い業者は? 練馬区 キッチンリフォーム 安い
R07 水回りリフォーム(練馬区) 条件 練馬区でトイレ交換を頼めるリフォーム業者は? 練馬区 トイレ交換
R08 水回りリフォーム(練馬区) 直前 練馬区で水回りリフォームの見積もりを今週中に取れる業者は? 練馬区 水回りリフォーム 見積もり
K01 勤怠管理システム 認知 勤怠管理システムって何を基準に選べばいい? 勤怠管理システム 選び方
K02 勤怠管理システム 認知 勤怠管理システムを導入するときの注意点は? 勤怠管理システム 導入 注意点
K03 勤怠管理システム 比較 おすすめの勤怠管理システムを教えて 勤怠管理システム おすすめ
K04 勤怠管理システム 比較 勤怠管理システムを比較して 勤怠管理システム 比較
K05 勤怠管理システム 条件 従業員50人くらいの会社に合う勤怠管理システムは? 勤怠管理システム 中小企業
K06 勤怠管理システム 条件 無料で使える勤怠管理システムは? 勤怠管理システム 無料
K07 勤怠管理システム 条件 シフト制の飲食店に向いた勤怠管理システムは? 勤怠管理システム 飲食店
K08 勤怠管理システム 直前 来月から使える、すぐ導入できる勤怠管理システムは? 勤怠管理システム すぐ導入
M01 MAツール 認知 MAツールって何を基準に選べばいい? MAツール 選び方
M02 MAツール 認知 MAツールを導入するときの注意点は? MAツール 導入 注意点
M03 MAツール 比較 おすすめのMAツールを教えて MAツール おすすめ
M04 MAツール 比較 MAツールを比較して MAツール 比較
M05 MAツール 条件 BtoB企業向けのMAツールでおすすめは? MAツール BtoB
M06 MAツール 条件 中小企業でも使える安いMAツールは? MAツール 安い 中小企業
M07 MAツール 条件 Salesforceと連携しやすいMAツールは? MAツール Salesforce 連携
M08 MAツール 直前 無料トライアルがあってすぐ試せるMAツールは? MAツール 無料トライアル

検索結果とAIモードの取得条件

項目 内容
取得方法 DataForSEOのSERP API (標準のキュー方式)
対象 Google検索(上位50位まで要求)、Google AIモード
AIモードに送る文 検索語ではなく、上の質問文をそのまま送る
言語・端末 日本語、デスクトップ(Windows)
地域 歯医者・水回りリフォームは「Nerima City,Tokyo,Japan」、勤怠管理システム・MAツールは「Japan」
取得の時期 ChatGPTに聞いた日と同じ日
費用 32問 × 2種類で1回 $0.12

Bingも同じAPIで試しましたが、日本語の検索語に対して無関係な結果(歯医者の質問にソフトウェアテストの記事など)が返ったため、対象から外しました。

参照した外部の資料