powered by TechFeed
表示モード
Deep Dive

Perplexityの引用リンク、3件に1件は肝心の数値が載っていない — 「答えは正しいが証拠として機能しない」という新たな問題

9月2日、Haus Research(マーケティングミックスモデリングを専門とするリサーチ会社)が「A third of Perplexity's citations don't contain the number they're cited for」と題した記事を公開した。AI検索エンジンPerplexityが提示する引用の**34.7%**が、引用元URLに肝心の数値を含んでいないという調査結果だ。「回答が正しいかどうか」ではなく、「証拠として提示されたものが証拠として機能しているか」という問いに対して、3件に1件の引用は機能していなかった——これがこの調査の核心である。

9月2日、Haus Research(マーケティングミックスモデリングを専門とするリサーチ会社)が「A third of Perplexity's citations don't contain the number they're cited for」と題した記事を公開した。AI検索エンジンPerplexityが提示する引用の**34.7%**が、引用元URLに肝心の数値を含んでいないという調査結果だ。「回答が正しいかどうか」ではなく、「証拠として提示されたものが証拠として機能しているか」という問いに対して、3件に1件の引用は機能していなかった——これがこの調査の核心である。


調査の核心:引用の34.7%が「証拠として機能しない」

Haus Researchは、Perplexityの2つの検索モデル(perplexity/sonarperplexity/sonar-pro)に対し、210社のテクノロジー企業に関する310の事実確認型の質問を投げかけた。質問の種類は創業年、最新の資金調達ラウンド、従業員数、最安値プランの価格、本社所在地、売上高、情報漏洩件数、現CEOなど10種類のテンプレートに基づく。

モデルが返した回答から、数値を含む文章に紐付けられた引用を1,826件抽出し、それぞれのURLを実際に取得して「そのページに引用元の数値が含まれているか」を機械的に検証した。判定は寛大な基準で行った——金額表記の揺れ($185 million$185M185000000)は同一視し、1つでも一致すれば合格とした。

結果:34.7%の引用が、引用した文章の数値を1つも含まないページを指していた

引用単位ではなく主張単位で換算すると、872件の主張のうち14.4%が不合格になる。


失敗の内訳:問題はリンク切れではない

直感的には「リンク切れが多いのでは」と思うかもしれないが、死亡リンクは全体の**わずか1.3%**に過ぎない。失敗の大半は以下の2パターンだ。

① ゲーティング(有料壁):約6分の1

PitchBook、ZoomInfo、Crunchbase、Reutersなどの有料サービスが引用されており、一般の読者はページを開けない。有料サービスの存在自体は問題ではないが、「一般読者が検証できない引用」は証拠として機能しない。sonarの310件の回答のうち84.2%が、少なくとも1つの開けないURLを引用していた

② ページは開くが数値が載っていない:16.1%

具体的な事例がわかりやすい。sonarはVercelの最安値プランについて「最初の有料プランは$20/月」と回答し、vercel.com/docs/plansを引用した。しかしそのページには$20という文字列がどこにも存在しない。数値自体は正しい可能性があるが、引用はその根拠にならない

さらに深刻なのは、本社所在地の質問で繰り返し現れたパターンだ。両モデルは複数の企業について「〇〇番地、〇〇通り」という詳細な住所を答え、Wikipediaの記事を引用した。しかし該当するWikipediaの記事を取得すると、その番地も通り名も郵便番号も記載されていなかった。「複数のソースによると」「複数のビジネスディレクトリによると」という言い回しでWikipediaにマーカーを付けたケースもあり、主張と引用が同じプロセスで生成されており、検索ではないことを示唆している。

なお、「グラウンディング」とはAIが回答を生成する際に実際の外部情報源(ウェブページなど)と結び付ける処理を指す。引用マーカーが付いていても、その引用先が回答内容を裏付けていなければ、グラウンディングは機能していないと言える。


「SEO汚染」による死亡リンク

死亡リンクの半数は、特定のパターンのURLだった。

  • komo.ai/directory/<company>-offices
  • temperstack.com/plans/<company>
  • apollo.io/where-is/<company>
  • portersfiveforce.com/blogs/brief-history/<company>

これらは「企業名×質問タイプ」で大量生成されたSEO目的のページで、検索にヒットさせた後、安価に削除されたと考えられる。実際に記事執筆時点で再取得したところ、Elasticの本社を引用したkomo.ai/directory/elastic-officesは404、Redditの本社を引用したapollo.io/where-is/redditは410 Goneだった。


プレミアムモデルは改善されていない

sonar(標準)とsonar-pro(上位)を比較すると、合格率はそれぞれ**65.9%と64.7%**で統計的に差がない(95%信頼区間が重なる)。引用数も1回答あたり9.8件と9.7件でほぼ同じだ。「プレミアムモデルの方がグラウンディングが悪い」というパイロット段階の結果はサンプルサイズが小さく、本調査では再現しなかった。

一方、比較対象として用いたGPT-4.1(ウェブプラグイン付き)は1回答あたりの引用数が2.0件と大幅に少なく、インラインマーカー(文中の[n]形式)を使わないため文単位の監査ができない——これ自体が1つの発見だと指摘されている。


引用先の25%はWebアーカイブにも存在しない

sonarが引用したURL 1,500件をWayback Machineで調べたところ、25.1%は過去に一度もキャプチャされたことがなかった。ディレクトリ系・リード生成系のページに限ると**39.3%**に跳ね上がる。

これは単なる保存漏れではなく、構造的な問題だ。引用されたURLが消えても、モデルが生成した回答文と引用マーカーはそのまま残る。消えるのは検証手段だけだ


調査の限界について

著者たちは自らの調査の限界も明記している。本調査はPerplexityの2026年9月2日時点における挙動の一断面を捉えたものであり(元記事の公開日と同日)、経時変化は追っていない。対象は英語のテクノロジー企業の質問に限定される。また、ゲートされたページが「間違い」とは言えない——PitchBookの有料会員なら正確な情報を確認できる可能性がある。

そして最後に重要な点として、「数値は正しいが引用が証拠として機能しない」ケースがほとんどだと断っている。「Perplexityの回答が正しいか」ではなく、「証拠として提示されたものが証拠として機能しているか」を測っている——その問いに対して、3分の1の引用は機能していなかった。

全データはCC BY 4.0で公開されている(質問リスト引用URLと解決結果主張-引用ペアWaybackルックアップ)。

詳細はA third of Perplexity's citations don't contain the number they're cited forを参照していただきたい。