6月18日、Danny Goodwinが「80% of ChatGPT product recommendations change when search is enabled: Study」と題した記事を公開した。最も驚くべき発見は、検索なしで100%の確率で推薦されていた商品こそが、検索をオンにした際に最も消えやすかったという逆説的な結果だ。ChatGPTの「デフォルト知識」に基づく推薦と、Web検索に基づく推薦はほぼ別物であり、AIサーチでの商品可視性を追う実務者には再現性の前提を根本から問い直す内容になっている。
検索を有効にすると、推薦商品の80%が入れ替わる
Visibility LabsのCEO、Jeff Oxfordが実施した調査によると、ChatGPTの検索機能（Web検索）を有効にすると、推薦される商品の80.2%が変化することが明らかになった。
Oxfordは1,000件の商品推薦プロンプトを用意し、それぞれを「検索あり」で10回、「検索なし」で10回の計20,000回実行してデータを収集した。検索なしで推薦された商品のうち、検索ありでも同じく推薦されたのは**わずか19.8%**にとどまった。
「必ず推薦されていた商品」ほど消える
この研究で最も興味深いのは、検索なしで100%の確率で推薦されていた商品が、検索ありに切り替えた際に最も消えやすかったという逆説的な結果だ。
- 検索なし時に全10回すべてで推薦された商品のうち、検索ありでも登場したのは15.8%のみ
- Oxfordは当初、常に推薦される安定した商品は検索ありでも残ると予想していたが、実際にはこのグループが最も引き継ぎ率が低かった
つまり、ChatGPTの「デフォルトの知識」に基づく推薦と、Web検索に基づく推薦はほぼ別物と考えるべきということになる。
引用ソースへの掲載が可視性に影響
本研究では、ChatGPTが回答時に引用したソース（cited sources）に商品名が登場する頻度と、推薦される頻度との相関も分析している。
引用ソースへの言及回数と推薦頻度の間には、ピアソン相関係数0.4の正の相関が確認された。研究では商品ごとに「Visibility Score」（特定プロンプトに対して商品が推薦された実行回数の割合）を定義しており、引用ソースにより多く登場する商品ほどこのスコアが高い傾向があった。
ただし、この調査は観察研究であり、引用ソースへの掲載が推薦を"引き起こした"という因果関係は確認されていない点は注意が必要だ。また、引用ソースへの掲載が重要なのか、それともより広いWeb上での露出が重要なのかも、この研究では判断できないとされている。
検索ありでは推薦リストが絞り込まれる
検索の有無は推薦商品の構成だけでなく、リストの幅にも影響する。
| 条件 | 1回の応答あたりの平均商品数 | 10回のプロンプトあたりのユニーク商品数 |
|---|---|---|
| 検索あり | 5.2件 | 19.0件 |
| 検索なし | 6.2件 | 21.8件 |
検索ありのほうが推薦リストが短く、ユニークな商品数も少ない。Web検索によって情報が絞り込まれる分、推薦の幅が狭まる傾向がある。
SEO・AEO実務への示唆
AIによる商品推薦の最適化を指す用語として、AEO（Answer Engine Optimization）が近年使われるようになっている。同義または近似の概念としてGEO（Generative Engine Optimization）という呼称も研究者・実務者の間で混在しており、業界内で用語の統一はまだ進んでいない。いずれにせよ、AIエンジンでの商品可視性を高めようとする施策全般を指す文脈で用いられている点は共通している。
この研究が示す最大の実務的含意は、検索モードの違いによって最適化すべき対象がまったく異なるという点だ。ChatGPTが検索なし状態でどれだけ自社商品を推薦していても、ユーザーが検索機能を有効にした途端にそのポジションが失われる可能性がある。逆に言えば、検索なし環境でのAEO施策の成果を検索あり環境に転用することは、データ上は根拠が薄い。
検索あり環境においては、ChatGPTが参照するWebページ（引用ソース）への露出が可視性と正の相関を示したことから、引用されやすいコンテンツ構造を持つページを整備することが現時点での有効なアプローチとして浮かび上がる。ただし前述の通り因果関係は未確認であり、「引用ソースに載れば推薦される」と断言できる段階にはない。実務上は、引用ソースへの掲載を目標としつつも、それが施策の直接的な効果なのか、Web全体での露出量や権威性の高まりが間接的に寄与しているのかを継続的に検証する姿勢が求められる。
また、この観察研究が持つ限界として、調査対象のカテゴリや期間、プロンプトの文言設計が結果に与える影響は切り離せない。今後、カテゴリや言語を変えた追試が行われることで、今回の知見がどこまで一般化できるかが明らかになっていくだろう。
なお、Search Engine Landが以前紹介した別の研究では、AIの推薦リストは1%未満の確率でしか同一の結果を繰り返さないことも報告されており、AIサーチの推薦は本質的に不安定であることがわかる。今回の研究はその不安定性が「検索モードの切り替え」という軸でも確認されたという意味で、先行研究を補強する内容とも言える。
詳細は80% of ChatGPT product recommendations change when search is enabled: Studyを参照していただきたい。
