powered by TechFeed
表示モード
Google

Google DeepMindのAIが実験計画・機器操作・論文執筆を一気通貫で自律実行 — ただし医師評価では「ベンチマーク番長」の限界も露わに

8月29日、The Decoderが「Google Deepmind's AI Co-Scientist now plans experiments, runs lab equipment, and writes scientific papers」と題した記事を公開した。Google DeepMindのAI Co-Scientistが仮説生成にとどまらず、実験計画・ラボ機器の操作・論文執筆まで一貫して担う段階へ拡張されたことを詳しく紹介している。

8月29日、The Decoderが「Google Deepmind's AI Co-Scientist now plans experiments, runs lab equipment, and writes scientific papers」と題した記事を公開した。Google DeepMindのAI Co-Scientistが仮説生成にとどまらず、実験計画・ラボ機器の操作・論文執筆まで一貫して担う段階へ拡張されたことを詳しく紹介している。


「仮説を出すだけ」から「実験も論文も」へ

AI Co-Scientistは2025年2月にGemini 2.0ベースで初公開されたが、当初はファクトチェックや文献調査に弱点があった。今回公開された拡張版では、アイデア創出→実験→論文生成という3フェーズを一貫してこなすマルチエージェントシステム(複数のAIエージェントが役割分担しながら協調動作する構成)へと進化している。

検証は材料科学・生物学・コンピューターサイエンスの3分野で行われ、分野ごとに人間の関与度を変えながら評価された。


Co-Scientistの3フェーズ(左)と、3つの適用事例(右)。材料合成は人間主導、生物学は協調型、CSは完全自律で実施された。| Image: Schmidgall, Zhu et al. (2026)


3分野での実験:どこまで自律できたか

材料科学:危険な製法を安全なルートに置き換える

Co-Scientistはハーフリンターン炉(Halfrinturn furnace、半自動高温合成炉)と連携し、従来は有害なエッチング処理でしか生成できなかった2D材料の代替合成レシピを生成した。25ラウンドの人間フィードバックを経て、目標材料に近い層状構造の生成に成功したが、原子構造の確認はまだ完了していない。

別実験では、3種類の半導体薄膜を初回で合成することに成功。Gemini 3 Deep Thinkを使ってラボ機器を直接制御し、レシピ開発にかかる時間を「数日」から「数分」に短縮した。ただし、サンプルの手動投入は依然として人手が必要で、高速モードで作られた結晶は最適化されたレシピ産のものより小さく不均一だった。リードオーサーのSamuel Schmidgallは、このレシピが他のラボに転用できるかは未知数だと述べている

生物学:未公開データと3/4一致

Co-Scientistは、遺伝子操作した大腸菌コロニーが化学濃度に応じてどのパターンを形成するかを予測する画像解析パイプラインを自律構築した。Gemini 3 Pro Imageで生成した予測は、4つの形状特徴のうち3つで未公開のラボ結果と一致した。ただし既知条件間の推論にとどまり、全く新しいシステムへの汎化はできていない点は研究者自身も認めている。

コンピューターサイエンス:完全自律で設計したAIが最高性能——ただしベンチマーク限定での話だ

人間の初期設定以外は完全自律で、Co-ScientistはAIアーキテクチャ「Agent_H」を設計した。入力クエリを分類し、大量の回答候補を並列生成・精緻化する医療AIで、GPT-5やClaude Opus 5を含む6つのフロンティアモデルを医療ベンチマークで上回った。

しかし、医師3名による盲検評価では話が変わる。9カテゴリ中、ベースラインのGemini 3.1 Proに対して統計的に有意な優位性を示したのは「有害な回答リスクの低さ」1項目のみだった。ベンチマークで圧倒的な数値を叩き出しながら実際の専門家評価ではほとんど差がつかない——タイトルで言う「ベンチマーク番長」の実態がここに現れている。


医師3名による盲検評価(左)と、自動評価器(Gemini 3.5 Flash)と医師判断の相関(右)。自動評価との一致率は全体的に低かった。| Image: Schmidgall, Zhu et al. (2026)

自動ベンチマークと医師判断の相関は一貫して低く、ベンチマークが実臨床での有用性を測れているかどうか自体が疑問視される結果となった。


ハルシネーション率4%:信頼性モジュールの効果

LLMベースの自律研究システムの根本問題は「作り話」だ。既存システムの捏造率は**80〜100%**と報告されており、AI Co-Scientistはこれに2段構えで対処した。

  1. 捏造・剽窃にペナルティを課す報酬設計
  2. 論文中の数値主張をコード実行ログと突き合わせる検証モジュール(生成された論文の主張をコードの実行結果と照合し、一致しない記述を検出・除去する仕組み)

30名のドメイン専門家による二重盲検評価(450件の独立レビュー)で150本の自律生成論文を評価した結果:

指標 Co-Scientist(モジュールあり) モジュールなし 比較システム
主要結果の捏造率 4% 46% 90%
完全な捏造データ 0% 44%
剽窃に近いコンテンツ 16% 60%

また安全フィルターは、有害な研究方向性の98.7%を拒否した。

それでも残存する問題としてSchmidgallは、「論文中の手法記述が実際のコードと一致しないケース」と選択的報告(都合の良いデータのみを記述する傾向)を挙げている。


自律研究AIを巡る現在地

研究者たちは「実験フィードバックで自己改善する閉ループ型マルチエージェントシステム」への前進と位置づけている。一方でSchmidgallは、「AIが科学の物理的現実を乗り越えるまでには長い道のりがある」とも明言している。

自動研究AIは現在最も注目されているAI応用領域のひとつで、OpenAIも今秋にインターンレベルの研究を遂行できるAIエージェントシステムの発表を計画している。ただし、現行LLMベースのシステムが本当に新知識を発見できるのか、それとも訓練データに潜在していたものを顕在化させているに過ぎないのかという議論は続いている。

詳細はGoogle Deepmind's AI Co-Scientist now plans experiments, runs lab equipment, and writes scientific papersを参照していただきたい。