7月23日、Neo4jが「Independent study: GraphRAG makes AI agents 80% more truthful」と題した記事を公開した。この記事では、ナレッジグラフとベクトル検索を組み合わせた「GraphRAG」がAIエージェントの精度とハルシネーション抑制に与える効果を検証した独立研究の結果を詳しく紹介している。
GraphRAGとは何か
本題に入る前に、GraphRAGの概念を簡単に整理しておく。
GraphRAG（Graph Retrieval-Augmented Generation）は、ベクトルデータベースによる意味検索に加え、ナレッジグラフ（エンティティ同士の関係を構造化したグラフDB）を組み合わせてLLMにコンテキストを渡す手法だ。
通常のRAG（Retrieval-Augmented Generation）がLLMのハルシネーション低減を目的とした定番手法である一方、ベクトル検索のみの実装は「似た文章を探す」ことしかできない。GraphRAGは「AはBに関連し、BはCに依存する」といった多段推論（マルチホップ推論）も可能にする。複雑な質問への対応力が上がる理由はここにある。
ベクトルRAGだけでは足りない──独立研究が示した数字
英国のデータイノベーション機関である**NICD（National Innovation Centre for Data）**が、ベクトルRAGとGraphRAGを比較検証したところ、GraphRAGが各指標で大きく上回る結果を示した。
研究はNeo4jがスポンサーだが、実施はNICDが独立して行っている。
比較に使われたベンチマークは**MoNaCo**（"more natural and complex" questionsの略）と呼ばれる質問応答評価セットだ。510件の複雑な質問が対象で、解答に数十〜数百ステップを要するものも含まれる。
主な検証結果
真実性スコアが80%向上
NICDは「真実性」を「精度とハルシネーション率の差」として定義し、部分正解を考慮した細粒度スコアで評価した。
- GraphRAG：63点
- ベクトルRAGのみ：35点
スコア差はほぼ倍。ハルシネーションを減らしながら正確な回答を増やせることが数値で示された。
精度（Precision）・再現率（Recall）がともに2倍超
| 指標 | GraphRAG | ベクトルRAGのみ |
|---|---|---|
| Precision | 0.38 | 0.18 |
| Recall | 0.35 | 0.15 |
偽陽性（誤った情報を正しいと答える）と偽陰性（正しい情報を見逃す）の両方が改善されている。
回答拒否率が大幅に低下
ベクトルRAGは文脈が不足すると「回答不明」として安全側に逃げる傾向がある。今回の実験では、ベクトルRAGのみの構成が複雑な質問に回答しようとしたのは28.9%に留まった。GraphRAGは65.3%の質問に回答し、拒否率は71.1%→34.7%へと約半減した。
なお、タイトルで「回答拒否率も約半減」と表現しているのはこの数値（71.1%→34.7%）を根拠としている。エンタープライズ用途では、過度な回答拒否はユーザー体験の損失に直結するため、この差は実用上も大きい。
トークン効率も改善
GraphRAGの構成では、セクション見出しやインフォボックスを直接ターゲットできる専用のグラフクエリツールを搭載している。記事全体を読まずに必要な箇所だけを参照できるため、正確な回答に直接貢献するトークンだけを消費する設計になっている。精度が上がりながらコストも下がるという結果だ。
「大規模なデータ整備なし」で実現
実用上、重要なポイントがある。NICDのチームはナレッジグラフを構築する際、精巧な手作業のオントロジーを数週間・数ヶ月かけて設計したわけではない。
使ったのはWikipediaの記事タイトル、セクション構造、記事間のリンク──多くの組織がすでに保有しているような文書構造だ。これにより、「GraphRAGを使うには大掛かりなデータプロジェクトが必要」という懸念を正面から否定する形になっている。
なお、GraphRAGのアプローチとしてはMicrosoftも独自のMicrosoft GraphRAGを公開しており、コミュニティレベルでの要約生成を特徴とする。今回のNICD研究はNeo4jのナレッジグラフ基盤を用いた実装であり、アーキテクチャの設計思想が異なる点には留意が必要だ。※編集部の考察
詳細はIndependent study: GraphRAG makes AI agents 80% more truthfulを参照していただきたい。
