6月18日、The Decoderが「AI systems rival doctors in new Nature studies, but one result suggests the tech won't age well」と題した記事を公開した。Nature誌に掲載された2つの研究でAIシステムが医師レベルの診断精度を達成した一方、そのアーキテクチャが時間の経過とともに陳腐化しうるという知見について詳しく紹介されている。
医療AIが「医師超え」を示す研究が相次いでいるが、今回のNature掲載2本は設計の詳細と限界の開示が丁寧な点で目を引く。特に、専用アーキテクチャの優位性がベースモデルの進化によってほぼ消滅するという知見は、医療AIに限らずシステム設計全般に関わる問題を提起している。
MIRAは仮想電子カルテの中で動く自律エージェント
ドレスデン工科大学・ハイデルベルク大学などが開発したMIRA（Medical Intelligence for Reasoning and Action）は、封鎖された仮想電子カルテ（EHR）環境の中で動作する自律エージェントだ。11種類のツールにまたがる85,000以上の選択肢を持ち、患者の病歴取得、ラボ検査・微生物検査・画像検査のオーダー、結果解釈、鑑別診断、処方や手術計画を含む治療計画の作成まで一貫して実行する。
評価には公開データセットMIMIC-IVの救急事例500件以上を使用。別のAIエージェントが患者役を演じ、実際のカルテ情報だけをMIRAに提供する形で検証した。
結果は以下の通りだ：
- 8疾患カテゴリ全体の診断正答率：88.9%
- 311件の直接比較（MIRA vs 医師）：MIRA 87.8% に対し、経験豊富な専門医4人が **78.1%**、研修医・専門医混合チームが 71.1%
- 虫垂炎で **98.6%**、膵炎で 92.3% と高精度
- 肺炎（72.4%）と尿路感染症（77.6%）ではAI・医師ともに苦戦
- 入院が必要な症例の見落とし：ゼロ件
- 危険な薬物相互作用・誤った投与量・リスクの高い鎮痛薬処方：いずれも検出されず
ドイツ語・フランス語の患者、特に不安の強い患者でも性能は安定しており、ソースコードはGitHubで公開されている。
GoogleのAMIEは2エージェント構成でガイドラインを参照
GoogleのAMIEは複数受診にまたがる患者管理を担うシステムで、患者と対話する会話エージェントと、バックグラウンドで医療ガイドラインと照合しながら推論するエージェントの2本立て構成を取る。
21人のプライマリケア医と100症例で比較したところ、英国のNICEガイダンスおよびBMJ Best Practiceを基準とした評価で以下の結果が出た：
- 初回受診での治療計画の適切性：AMIE **95%**、医師 72%
- 治療計画の正確性とガイドライン遵守でAMIEが医師を上回る
- 薬剤知識ベンチマーク（RxQA）の難問でAMIEが医師を上回る
ただし、RxQAは易しい問題でも最高スコアが75%未満にとどまるほど難しく、両者とも完全ではない。
最も重要な発見：強いモデルにはスキャフォールディングが不要になる
今回の2研究で最も示唆に富む知見は、AMIEの補足実験に埋もれている。
AMIEはGemini 1.5 Flashで動作しており、MIRAはGPT-4oとo1-previewを使用している。いずれも現在はより新しいモデルに追い越された世代だ。
Googleの研究チームは、性能向上の要因が「2エージェント構成やガイドライン照合などの専用アーキテクチャ」なのか「ベースモデルそのもの」なのかを検証するため、コンポーネントを入れ替える実験を行った。
結果は明快だった：
- Gemini 1.5 Flashでは、専用設計による大幅な性能向上が確認された
- Gemini 2.5 Flashに同じ設計を適用すると、その優位性はほぼ消滅した
つまり、専用アーキテクチャは古いモデルの弱点（構造化推論の欠如、ハルシネーション）を補うために機能していた。強いモデルはそれを自力でこなせるため、スキャフォールディングの価値が薄れる。論文自体も「ベースモデルが改善するにつれAMIEの価値は縮小する」と認めており、現時点でGemini 2.5 Pro、o3、GPT-5はRxQAにおいてフルAMIEシステムと「概ね同等」のスコアを出している。
※編集部の考察：このパターンはコーディング支援ツールの領域でも観察されてきた現象だ。スキャフォールディングツールはツール・コンテキスト・メモリへのアクセスを提供することで強いモデルの性能をさらに引き出せるが、モデルの進化速度に設計が追いつかない場合、専用アーキテクチャが最終的に「死荷重」になるリスクは医療AIに限った話ではない。
MIRAについては同様の比較実験が存在しないが、そのアーキテクチャの一部は「モデルの弱点を補う」ためではなく「病院の臨床システムにAIを接続する」ためのものであり、モデルが強化されても陳腐化しない部分がある点は元記事でも指摘されている。
研究者自身が慎重な立場を取る
両チームとも、結論を急ぐことには明確に警告している。MIRAの開発チームは「ベストプラクティスから逸脱した推奨を行った症例が少数ながら存在する」と認め、MIMIC-IVが学習データに含まれている可能性も完全には否定できないとしている。元記事もこの点を重要な限界として挙げており、もしそうであれば測定された性能の解釈には慎重さが求められる。
AMIEの開発チームも「有望な性能を示しているが、実臨床への移行準備は整っていない」と述べ、隠れた推論ステップに忍び込む「潜在的な推論エラー」への対処が必要だとしている。
MIRAの開発に関わったJakob Kather氏はFinancial Timesに対し、「AIエージェントは航空機の自動操縦に相当する。ルーティン業務を引き受けることで医療専門家を支援・軽減できるが、最終的な責任は常に医師にある」と述べた。
オックスフォード大学の医療社会学者Catherine Pope教授は「日常の医療が持つ複雑で人間的な世界とは、まだかなりの距離がある」と評し、エディンバラ大学のJulie Jacko教授は今回の結果が「臨床的正確さの明確な差」ではなく「計画の精度と完全性」によるものだと指摘している。
詳細はAI systems rival doctors in new Nature studies, but one result suggests the tech won't age wellを参照していただきたい。
