powered by TechFeed
表示モード
Deep Dive

研究論文のコードをAIエージェントに自動変換する「Paper2Agent」 — 100本中74本成功、MCP化で再現性の壁を突き破る

9月16日、Nature.comが「Reimagining research papers as interactive and reliable AI agents」と題した記事を公開した。研究論文と付随するコードベースをMCP(Model Context Protocol)サーバーベースのAIエージェントに自動変換するフレームワーク「Paper2Agent」について詳しく紹介されている。

9月16日、Nature.comが「Reimagining research papers as interactive and reliable AI agents」と題した記事を公開した。研究論文と付随するコードベースをMCP(Model Context Protocol)サーバーベースのAIエージェントに自動変換するフレームワーク「Paper2Agent」について詳しく紹介されている。


論文をそのままAIエージェントに変換する

研究論文の「再現性」は長年の課題だ。コードは動かない、依存関係は壊れている、チュートリアルは古い——そうした問題を、Paper2AgentはAIエージェントの仕組みで解決しようとしている。

大規模検証では、計算生物学論文100本に対してエンドツーエンド処理を実施した結果、74本でMCPサーバーの自動生成に成功(成功率74%)。この74本から300問のベンチマーク問題を生成し、元コードの実行結果と照合した評価でも高い精度を達成している。成功率と精度という二つの数値が、本フレームワークの実用性を裏付ける最大の根拠となっている。

Paper2Agentは、研究論文と付随する公開コードベースをプロダクション品質のMCPサーバーに変換し、AIエージェントのインターフェースとして公開するフレームワークだ。実装にはClaude CodeのエージェントSDKが使われており、中央のオーケストレーターエージェントが複数の専門サブエージェントを6ステップのパイプラインで制御するマルチエージェント構成を採っている。

なお、MCP(Model Context Protocol)とは、AIモデルが外部ツールやデータソースを呼び出すための標準プロトコルで、Anthropicが提唱した仕様だ(公式仕様)。MCPサーバーを立てることで、任意のAIエージェントから研究コードを「ツール」として呼び出せるようになる。


6ステップのパイプライン

Paper2Agentのパイプラインは以下の6ステップで構成される。ステップ間のデータは標準化されたJSONレポートとファイル規約でやり取りされる。

  1. コードベースの特定とダウンロード:論文本文・参考文献・補足資料からリポジトリを自動検出してクローン。自動検出に失敗した場合はURLを直接指定できる。
  2. 環境セットアップ:クリーンな仮想環境を構築し、依存関係をインストール。
  3. チュートリアル探索:リポジトリ内の教材・サンプルノートブックをスキャンして候補をリスト化。
  4. チュートリアル実行と監査:選定したチュートリアルをエンドツーエンドで実行し、入力・出力・図・実行時制約を記録。
  5. ツール抽出・テスト・改善:実行済みチュートリアルをスタンドアロンのPythonモジュールに変換。ハードコードされた値(ファイルパス、閾値、カラム名)をパラメータ化し、各関数をMCPツールとしてデコレートする。その後テスト検証エージェントが自動テストを生成・実行し、繰り返し失敗した関数はMCPデコレーターを除去してサーバーから除外する。
  6. MCPサーバー組み立て:検証済みのツールモジュールを統合し、マニフェスト・バージョニング・基本的なセキュリティデフォルトを備えたMCPサーバーとして完成させる。

テスト検証の厳格さ

ステップ5の検証基準は具体的に規定されている。

  • 期待される出力ファイルが生成されること
  • 数値結果がチュートリアル出力と3%の誤差範囲内で一致すること
  • 生成された図が参照画像とパーセプチュアルハッシュ(画像の視覚的な類似度を数値化するハッシュ技術。ハミング距離が小さいほど類似している)でハミング距離 < 20の範囲内で一致すること

テスト生成→実行→診断→修正のループは最大6回まで繰り返される。これにより、自動生成されたMCPサーバーの信頼性を担保する仕組みになっている。


実際にどう使われているか

AlphaGenomeエージェント

DeepMindのゲノム解析モデルAlphaGenomeにPaper2Agentを適用した事例が示されている。生成されたAlphaGenome MCPサーバーはHugging Face Spaces上でリモートホストされており、Claude Codeと接続することでAlphaGenomeエージェントとして動作する。

評価は15件のチュートリアルベースのクエリ15件の新規クエリで実施された。ベンチマーク比較の相手は「Claude + リポジトリ直接参照」と「Biomni」で、いずれもclaude-sonnet-4-20250514をベースモデルとして使用。全評価はMacBook Air(M2チップ、8GBユニファイドメモリ)上でローカル実行されている。

評価クエリの例として、LDLコレステロールに関連する遺伝的変異(chr1:109274968:G>T)の原因遺伝子を特定し、肝臓での制御効果を複数のモダリティで評価してパブリケーション品質のレポートを生成するよう指示するプロンプトが示されている。

TISSUEエージェントとScanpyエージェント

空間トランスクリプトミクス(組織切片上で各細胞の遺伝子発現を位置情報付きで測定する技術)解析ツール「TISSUE」と、シングルセルRNA-seq(単一細胞レベルでRNA発現量を網羅的に計測する技術)解析の標準ライブラリ「Scanpy」にも同フレームワークを適用した。Scanpyエージェントでは、10x Genomics PBMCデータなど7つのデータセットを使ったベンチマークで、フィルタリング・正規化・PCA・クラスタリングといった標準ワークフローを人手による解析と同等の精度で再現できることを確認した。


大規模評価:100本の論文で検証

フレームワークの汎用性を評価するため、3種類のコーパスを対象に人手によるクリーンアップなしでエンドツーエンド処理を実施した。

  • 計算生物学論文100本(bioRxivより遡及サンプリング):ドキュメント品質やリポジトリのメンテナンス状態を問わずランダムに選択。74本でMCPサーバー生成に成功(成功率74%)し、この74本から300問のベンチマーク問題を生成した
  • データ・発見系論文26本(bioRxiv 13本 + Nature 13本、2025年):実験結果やデータセットを報告する論文
  • 非生物学系計算論文10本:grf(因果推論)、SAELens(機械的解釈可能性)、SAM2(コンピュータビジョン)、TabPFN(表形式機械学習)など多様な分野をカバー

生物学分野に限らず非生物学系でも動作することを示しており、特定ドメインに依存しない汎用フレームワークとしての位置づけを強調している。


コードとプロンプトの全詳細はPaper2AgentのGitHubリポジトリで公開されている。

詳細はReimagining research papers as interactive and reliable AI agentsを参照していただきたい。