11月3日、Natureが「Will AI grant reviews make science more conservative?」と題した記事を公開した。AIを研究助成の審査に使うと、革新的な提案が体系的に低く評価される——そんな実験結果が、2025年8月に学術誌 Scientometrics に掲載された。科学の保守化を招きかねないこのリスクは、UKRIやWellcomeなど主要ファンダーがAI審査の導入を検討し始めている今まさに問われるべき問題だ。
「科学の保守化」というリスク
近年、査読や助成審査へのAI活用は急速に広がっている。2024年にNatureが実施した調査では、主要ジャーナルの編集者の多くがAIを補助ツールとして使用していることが示されており、助成審査の領域でも同様の潮流が生まれつつある。しかし、このアプローチには見落とせないリスクがある。
AIが審査を担うことで、新規性の高い提案——すなわち将来のブレークスルーの種——が不当に排除されていく構造が生まれる可能性がある。これを「科学の保守化」と呼ぶ。今回の研究はその懸念を、実際の助成提案書を使った実験で裏付けた点で重要だ。
AIは助成審査で「保守的」な判断をする
研究を行ったのは、英国ブライトン拠点の科学政策コンサルタント会社Technopolisでデータサイエンスチームを率いるDiogo Machado氏だ。同氏はOpenAIのモデル**GPT-4oを用いて、139件の実際の研究助成提案書**を評価させた。提案書はすべて2021年にオーストリア科学基金（Austrian Science Fund、FWF）に提出された本物である。
実験の手法はシンプルだ。AIに対して「どちらの提案に資金を提供すべきか？AかBのみで答えよ」というプロンプトを与え、同じ研究分野に分類された提案書をすべての組み合わせで二者択一させた。最も多く「勝利」した提案が最高ランクとして選ばれる仕組みだ。
結果として、AIの判断は60%のケースで人間の審査員と一致した。しかし注目すべき差異が生じたのは「新規性」の評価だ。人間の審査員が「新規性が高い」と評価した提案について、AIは人間よりも「体系的に」資金提供に消極的な傾向を示した。
なぜAIは新規性を見落とすのか
Machado氏はこの偏りの原因として、**大規模言語モデル（LLM）の学習構造そのもの**にあると推測する。LLMは膨大なデータに繰り返し登場するパターンから学習するため、主流の概念や確立されたアイデアの認識を得意とする。一方、真に新しいアイデアは定義上、学習データに登場する頻度が低い。比較対象となるパターンが少ないため、その価値を正しく評価しにくい構造になっているという。
さらに、今回の実験にはひとつの制約がある。AIへのプロンプトは単純に「どちらに資金を出すべきか」と問うもので、人間の審査員が使用した「新規性」「科学的質」「チーム能力」「実現可能性」という4つの評価基準をAIに明示していなかった。同じ基準を与えれば結果が変わる可能性はある。
ただし、非営利研究機関RAND EuropeでScience and Emerging Technologyディレクターを務めるSusan Guthrie氏は、仮にAIに新規性を明示的に評価させたとしても、それが正確にできる保証はないと指摘する。新規性という指標はそもそも主観的であり、標準化が困難だからだ。
主要ファンダーはAI審査の導入を検討中
この研究が発表されるタイミングは重要だ。現在、複数の主要な研究助成機関がAI活用の調査を進めている。
英国の研究助成機関**UK Research and Innovation（UKRI）は先月、AI支援審査の導入検討を発表した。まずはAIが生成した評価と過去の助成決定とを比較する対照試験**から始める予定だ。
一方、ロンドンに拠点を置く**Wellcome**は異なる方針を取っており、プライバシー上の懸念から審査員が助成申請書を生成AIに入力することを禁止している。ただし、過去の類似研究の確認といった「補助的な作業」への利用は認めている。
Machado氏は、AIツールが研究評価にもたらしうる偏りを理解することが、ファンダーが適切な安全策を講じるうえで不可欠だと述べている。AIによる審査が普及すれば、確立された分野の研究が優遇され、潜在的なブレークスルーを見逃すリスクがある、というのが同氏の警告だ。
詳細はWill AI grant reviews make science more conservative?を参照していただきたい。
