11月10日、Oxford Protein Informatics Group（OPIG）のYael Zivが「What I Learned from Evaluating a Scientific AI Agent」と題した記事を公開した。OPIGはオックスフォード大学を拠点とする計算生物学・タンパク質情報科学の研究グループで、抗体設計や構造予測の分野で多くの知見を発信している。本記事では、抗体最適化を目的とした科学AIエージェントを評価する際の実践的な知見と評価設計の考え方について詳しく紹介されている。
「正解がない」評価の難しさ
LLMの一般的なベンチマークは「正解が存在する」ことを前提とする。しかし科学エージェントはそうではない。抗体を最適化するタスクを例に取ると、有効な変異パターンは複数あり、計算上の成功が生物学的な妥当性を保証するわけでもない。ウェットラボ実験で全候補を検証することも現実的ではない。
また、エージェントが「それらしい候補」を返したとしても、その変異が根拠のある分析に基づいているかどうかは別問題だ。結果だけを見ていては、エージェントが正しい理由で正解したのか、たまたま正解に見える何かを返しただけなのかが判別できない。
こうした課題に向き合った結果、Yael Zivが辿り着いたのが「結果だけでなく、プロセスを評価する」という方針だ。
評価を4層に分解する
エージェントのツール呼び出し・入出力・中間結果を記録し、評価を以下の4段階に分けて実施した。
1. ツール実行：有効な入力でツールが正常に動作したか。エラーを検知・処理できたか。エッジケースへの対応や、パラメータの適切な設定ができているかも確認する。
2. ツール選択：タスクに対して適切なツールを選べたか。例えば「抗体のヒト化」を指示した際に、Hu-mAbのような適切なツールを選択できるか。なお、Hu-mAbは抗体配列のヒト化スコアを算出するツールで、治療用抗体の免疫原性リスク評価に広く用いられている。
3. 科学的な解釈：正しいツール出力が得られた前提で、エージェントは正しい結論を導けたか。ここが最も評価が難しい層で、ドメイン知識を持つ専門家によるレビューが必要になる。
4. 複数ステップのワークフロー：指示を一連のアクションに変換し、正しい順序で実行し、結果を次の判断に活用できるか。
前3層は個別能力の評価だが、最終的にはこれらを組み合わせて複雑なタスクをこなせるかどうかが問われる。
「抗体を最適化して」という指示をどう評価するか
「Optimise this antibody」という曖昧な指示に対しては、あらかじめ特定のワークフローを定義し、エージェントがそれに従っているかを評価するという方針を採った。
ワークフローを細かいタスクに分割することで、デバッグも容易になる。一方で、「エージェントに戦略を自由に探索させたい」という場面では、この方針が必ずしも正解とは限らない。どこまで自由度を与えるかは、解こうとしている科学的問いによって変わる。
いずれの場合も、最終結果が満たすべき制約を定義しておくことは有効だ。例えば抗体最適化では「CDR（相補性決定領域：抗体が抗原と結合する際に直接接触する可変領域の一部で、抗体の結合特異性を決定する）を保持すること」といった条件は、ベストな解が何かを知らなくても確認できる。
評価設計で実際に役立ったプラクティス
チェックポイントを明示する：ワークフローのどこで進捗を確認するかを事前に決める。Anthropic SDKのツールランナーでは、ツール呼び出しの実行前に内容を検査できる。
決定論的なチェックを優先する：コードで直接確認できることにLLMの判定を使わない。出力フォーマットの検証、数値閾値の確認、制約の充足確認などは、シンプルで安価かつ再現性が高い。
オープンエンドなタスクには構造化されたルーブリックを使う：「特定の解を要求する」のではなく「成功の条件を定義する」という設計にする。
評価環境をバージョン管理する：プロンプト・ツール・ワークフロー指示はすべてパフォーマンスに影響する。BiomniBenchの報告によれば、エージェントハーネスの変更が、モデルの世代間移行よりも評価スコアに大きな影響を与えることがある。なお、BiomniBenchは生命科学領域における科学AIエージェントの総合的な能力を測るベンチマークで、ツール使用・推論・マルチステップタスクの遂行能力などを複合的に評価する。数字を出す際は必ずバージョンとともに報告することが求められる。
評価はあくまで「何が壊れているか」を知るための手段
科学エージェントの評価が特に厄介なのは、背後の判断が誤っていても、もっともらしい結果を簡単に生成できてしまうからだ。評価を小さな構成要素に分解することで、ツールの使い方・ワークフローの追従・結果に基づく判断のどこに問題があるかを切り分けられる。
ただし、これが「より良い抗体」の保証になるわけではない。ツールの質、エージェントの判断、そして最終的には実験による検証——これらに依存することは変わらない。評価の役割は、何が失敗しているかを理解し、次に何を改善すべきかを明確にすることだ。
詳細はWhat I Learned from Evaluating a Scientific AI Agentを参照していただきたい。
