powered by TechFeed
表示モード
Deep Dive

AIの査読が人間の専門家を全項目で上回る — ハーバード研究、盲検比較でAI判定100%・編集者判定87%を記録

11月13日、PsyPostが「AI-written peer reviews outscored top human experts in blind comparisons, Harvard working paper finds」と題した記事を公開した。ハーバード大学の研究者によるワーキングペーパー(未査読)を紹介する二次情報記事であり、AIが書いたピアレビューが盲検比較においてトップクラスの人間専門家を上回ったという研究内容を報じている。なお本ワーキングペーパーはまだ正式な査読を経ていない点に留意が必要だ。

11月13日、PsyPostが「AI-written peer reviews outscored top human experts in blind comparisons, Harvard working paper finds」と題した記事を公開した。ハーバード大学の研究者によるワーキングペーパー(未査読)を紹介する二次情報記事であり、AIが書いたピアレビューが盲検比較においてトップクラスの人間専門家を上回ったという研究内容を報じている。なお本ワーキングペーパーはまだ正式な査読を経ていない点に留意が必要だ。


AIがピアレビューで人間専門家を圧倒

ハーバード大学の研究者Gary KingとSteven Worthingtonが公開したワーキングペーパーによると、AnthropicのClaude Opus 4.8が生成したピアレビューは、十分な報酬を得た人間の専門家によるレビューを、盲検比較においてAI判定で132件中132件(100%)、元ジャーナル編集者の判定で30件中26件(87%)上回った。さらに、AIレビューの誤り率は**5.5%にとどまり、人間レビューの15.9%**の約3分の1だった。

ピアレビュー(査読)とは、学術論文が学術誌に掲載される前に同分野の専門家が内容を評価・批評するプロセスで、科学的品質管理の中核を担う仕組みだ。ただし、査読者の確保が難しい、同一論文への評価が査読者間で一致しない、重大なエラーを見逃すといった問題が長年指摘されてきた。


実験設計:「理想的な条件の人間」を対象に据えた点が肝

この研究で重要なのは、比較対象を「急いで作業する無報酬の査読者」ではなく、最高条件の人間専門家に設定した点だ。

具体的には、KingがディレクターをつとめるハーバードのInstitute for Quantitative Social Scienceが運営する事前査読サービス「rapidPeer」の全投稿を対象とした。このサービスでは、匿名化された論文を対象に、分野の専門家が選定した外部レビュアーが十分な報酬を受け取り、最低1.5〜2ページの建設的フィードバックを作成する。74名の著者を対象とした調査では、88%がレビューを「高品質」または「非常に高品質」と評価しており、協力した元編集者たちも「これまで見た中で最高水準」と述べたという。

データセットは2019〜2026年に収集された124本の論文と134件の人間レビュー(統計・数学・定性研究を含む)。AIレビューはClaude Opus 4.8を2条件で生成した。「matched条件」ではAIに論文とrapidPeerの査読指示のみを渡し、「tuned条件」ではカスタムプロンプトとウェブ検索(平均12.4回使用)を追加した。

評価はAnthropicとは別会社のOpenAI GPT-5.5をジャッジとして使用した(開発元が同じモデルが自社システムを採点しないよう配慮するため)。なお、Claude Opus 4.8およびGPT-5.5のいずれも、本記事執筆時点で広く公開されたバージョンとは型番が異なる可能性があり、ワーキングペーパー内の記載に基づいて表記している。評価観点は「理論とアイデア」「手法」「弱点」「フレーミング」「コミュニケーション」「図表」「引用文献」の7領域。


結果:全カテゴリでAIが優位

AIレビューは7領域すべてで人間を上回った。

評価領域 AI勝率(tuned条件)
引用文献・弱点・手法 100%
図表 99%
理論・フレーミング・コミュニケーション 92%

0〜10点のスケールでは、AIレビューが人間レビューを平均2.6点上回った(人間の平均は約6点)。

さらに10種の追加検証も実施された。AIと人間のレビューを同一ワード数に揃えた44ペアの比較でもAIが100%勝利。人間レビューをAI風の文体に書き直しても順位は変わらず、論文の新規性・研究手法・著者の職位・掲載誌のレベルを問わず、結果は一貫していた。

ウェブ検索を有効にしたtuned条件のAIレビューでは、架空の引用が1件も存在しなかった。これは以前の研究(AIが生成した精神保健分野の文献レビューで引用の約3分の2が捏造または誤りと判明)とは対照的な結果だが、先行研究は「ゼロから文献レビューを生成する」タスクを対象としており、今回の「既存論文を批評する」タスクとは性質が異なる。

また、各レビューに正確な文と虚偽の文を1文ずつ挿入したサニティチェックでは、AIジャッジが虚偽258件を全件検出し、正確な258件を1件も誤検知しなかった。


「人間の査読が完璧でないことも直視すべき」

研究に関与していないUK Research and Innovation(UKRI)のオープンリサーチ担当シニアアドバイザー、George Currieは次のように述べた。

「AIによる査読に鼻を向ける前に、現行システムの実態を正直に見るべきだ。査読はリソース集約的で、大半が無報酬、品質はばらつきがあり、研究改善というよりジャーナルのゲートキーピングとして機能し、質の低い研究の流入を確実には防げていない」

一方、スタンフォード大学のKilian M. Pohl教授は成果を評価しながらも、留保を示した。

「要旨の主張が広すぎるため、AIがどの論文を掲載すべきか判断する能力も備わったと誤解されかねない。しかし今回評価されたのは建設的なフィードバックの質であり、画期的な研究の見極めや微妙な科学的誤りの検出、特定ジャーナルの水準との適合性判断ではない」


一様化リスク:AIが科学の多様性を損なうか

研究者たちが警告するのは、個別の品質向上だけでなく、科学全体の均質化だ。同様のモデルを多くの研究者が使えば、主流派の議論に収斂するよう誘導される可能性がある。

また、Western Michigan UniversityのGustavo A. Patino准教授は査読が研究者自身の学習機会でもある点を指摘する。

「著者らはすべての議論を編集プロセスの効率化という利点に集中させているが、査読が研究エコシステム全体にもたらす恩恵を無視している。査読者として関わることは、最終的に掲載されないプロジェクトを含む多様なアイデアと出会う機会を与えてくれる。査読をしない研究者はそこから学ぶ機会を失う」


限界と今後の課題

本ワーキングペーパーはまだ査読を受けていない。また、AIレビューを受けて改訂した論文が人間レビューを受けた論文より最終的に質が高くなるかどうかは未検証だ。今回の人間レビューは、選択的なジャーナルのゲートキーピングではなく建設的なコーチングを目的とした事前査読サービスのものである点も留意が必要だ。

研究者らは実用的な提案として、ジャーナルが独自のAI査読プロンプトを公開し、著者が論文とAIレビューへの応答書を同時提出する仕組みを提案している。最終的な掲載判断は人間編集者が担うとしつつ、困難なケースのみ人間査読者に委ねるモデルだ。

詳細はAI-written peer reviews outscored top human experts in blind comparisons, Harvard working paper findsを参照していただきたい。