6月17日、Michal Sutterが「OpenAI Releases LifeSciBench, a 750-Task Benchmark Grading AI Models on Real Life-Science Research With Expert-Written Rubric」と題した記事を公開した。この記事では、OpenAIが生命科学研究におけるAIモデルの能力を評価する750タスクのベンチマーク「LifeSciBench」を公開したことについて詳しく紹介されている。
現行ベンチマークの何が問題か
近年、AlphaFoldに代表されるタンパク質構造予測や創薬へのAI活用が急速に進み、生命科学領域における「AIの実力を正確に測る物差し」の必要性が高まっている。しかし既存のベンチマークの多くは、答えが一意に定まる事実確認型の問題で構成されており、実際の研究現場で求められる能力とのかい離が指摘されてきた。実際の科学者は、不確かな証拠を判断しながら意思決定を行う。LifeSciBenchはこのギャップを埋めることを目的として設計されている。
最強のモデルでも正解率は約3タスクに1つ程度であり、ベンチマークはまだ飽和には程遠い。
LifeSciBenchの構成
LifeSciBenchは173名のPhD保持者（バイオテクノロジーまたは製薬分野の経験者）によって執筆された750タスクで構成される。タスクは7つのワークフローと7つの生物学的ドメインにまたがる。
7つのワークフロー：
- 証拠の処理と分析
- 設計と最適化
- 科学的推論
- 検証と操作
- 翻訳（知見の転換）
- 科学的コミュニケーション
- 予測
7つのドメイン：
ゲノミクス、メディシナルケミストリー、臨床・トランスレーショナルサイエンスなどをカバーする。
タスクは多肢選択ではなく自由記述形式で、約79%が複数の推論・意思決定ステップを必要とする（平均4ステップ）。また、全体の約53%のタスクには配列データ・図・表・PDF・化学構造式などの添付アーティファクト（合計1,062件）が付属する。
品質検証には別コホートの453名のレビュアー（97%が博士号保持者）が参加し、関連性・推論・根拠・有用性の各項目で96%超の合意率を達成した。
ルーブリック採点の仕組み
LifeSciBenchの核心はルーブリック（採点基準）方式にある。ベンチマーク全体で19,020の採点基準が定義されており、タスクあたり平均約25基準となる。
各基準は「特定の事実が含まれているか」「特定の推論ステップを踏んでいるか」「数値が許容範囲内か」といった具体的な1要素を評価する。単一の模範解答文字列との照合ではなく、ルーブリックへの適合度で採点される点が特徴だ。
スコアは以下の2指標で集計される：
- 正規化ルーブリックスコア：獲得点数 ÷ 総点数（部分点あり）
- タスク通過率：正規化スコアが70%以上のタスクの割合
採点ロジックは以下のPythonコードで明示されている：
def grade(rubric, awarded_ids):
total = sum(c["pts"] for c in rubric)
earned = sum(c["pts"] for c in rubric if c["id"] in awarded_ids)
normalized = earned / total # partial credit
passed = normalized >= 0.70 # task-level success
return normalized, passed
部分点を獲得しつつもタスクとしては不合格になるケースがあり、この乖離こそがLifeSciBenchが測定しようとする指標の一つだ。
モデルの評価結果
OpenAIは5モデルをシングルターン設定（プロンプトとアーティファクトを1回提示）で評価した。インターネット検索は無制限で許可されている。
| モデル | 正規化スコア | タスク通過率 |
|---|---|---|
| GPT-Rosalind | 0.576 | 36.1% |
| GPT-5.5 | 0.519 | 25.7% |
| Gemini 3.1 Pro | 0.515 | 23.6% |
| GPT-5.4 | 0.479 | 20.7% |
| Grok 4.3 | 0.399 | 13.0% |
OpenAIのドメイン特化モデルであるGPT-Rosalindが総合首位（タスク通過率36.1%）となったが、これは750タスク中386タスクでトップの成績を記録したに過ぎない。一方、Gemini 3.1 Proは214タスクで個別首位を取っており、集計スコアだけではタスク固有の強みが見えにくい点に留意が必要だ。
モデルが苦手とする領域
アーティファクトの処理は全モデルにとって明確なボトルネックだ。GPT-Rosalindはテキストのみのタスクで45.1%の通過率を達成する一方、アーティファクトが含まれるタスクでは28.1%に低下する。GPT-5.5も同様に29.9%から21.9%へ落ちる。
設計・最適化・予測ワークフローではGPT-Rosalindの通過率が**30.7%にとどまり、分析ワークフローも30.3%**と苦戦している。配列・構造の正確な出力を求める基準では、モデル間で18.0%〜46.9%と成績にばらつきがある。
また、171タスク（22.8%）はどのモデルも通過できず、261タスク（34.8%）では最高性能モデルの通過率が20%未満という結果だ。
設計上の制約
LifeSciBenchにはいくつかの制約も明記されている。評価はシングルターンのみであり、実際の研究が反復的・マルチターンであることは反映されていない。また、ベンチマークをOpenAI自身が構築し、かつ評価対象モデルの多くもOpenAI製である点は、解釈時に考慮すべき点だ。さらに750タスクではすべての科学的専門分野をカバーしきれない。
論文はこちら、技術詳細はOpenAI公式ページで公開されている。
詳細はOpenAI Releases LifeSciBench, a 750-Task Benchmark Grading AI Models on Real Life-Science Research With Expert-Written Rubricを参照していただきたい。
