10月16日、テクノロジー・AIに関する情報を発信する個人メディア「madrobot.blog」が「OpenAI's GPT-6 Astra solved 49 of 50 unpublished physics research problems, at under $3 each」と題した記事を公開した。OpenAIのGPT-6 Astraが未公開の理論物理学研究問題50問中49問を自律的に解いたベンチマーク「TheoPhysEval」の結果について詳しく紹介されている。
1問あたり3ドル未満で、専門家レベルの物理問題を解いた
35名の物理学者とAI研究者が設計したベンチマーク「TheoPhysEval」の結果が、arXivに公開された。主導したのはベンガルール（インド）の国際理論科学センター（ICTS）のSuvrat Raju氏で、共著者にはICTS、ハーバード大、ペンシルベニア大、KUルーヴェン、Google DeepMindの研究者が名を連ねる。
テストに使われたのは、いずれも未発表の理論物理学研究問題50問だ。古典物理学・格子理論・量子場理論・ホログラフィー・宇宙論など11分野から出題されており、その分野の世界的専門家なら「おおむね1日以内に解ける」が、隣接分野の専門家には「相当な時間がかかる」レベルとされる。
答えの漏洩を防ぐため、各問の解答は数値に変換され、関連・非関連の数量が混在する形で提示された。
スコアと費用：Astraの圧勝
5種類のAIエージェントが各問題を1回ずつ実行した（最大8時間/問）。ウェブアクセス・文献検索・コード実行が可能な「リアリスティックトラック」と、インターネットを遮断した「アイソレートトラック」の2条件で計測している。
| エージェント | リアリスティック | アイソレート | コスト（リアリスティック） |
|---|---|---|---|
| GPT-6 Astra（Codex） | 49/50（98%） | 46/50 | $116.28 |
| Claude Opus 5.5（Claude Code） | 46/50 | 46/50 | $240.43 |
| Gemini 3.8 Flash（Antigravity） | 34/50 | 31/50 | — |
| DeepSeek-V4.1-Flash（Codex） | 27/50 | 25/50 | — |
| GLM 5.3（Claude Code） | 21/50 | 26/50 | — |
Astraのリアリスティックラン全体のコストは$116.28、つまり1問あたり平均約2.33ドルだ。Claude Opus 5.5は$240.43とAstraの約2倍かかりながら、正答数は46問にとどまった。
なお、GLM 5.3はリアリスティック（21問）よりアイソレート（26問）の方がスコアが高いという逆転現象が生じている。論文ではこの点について統計的なばらつきの可能性を指摘しており、各モデルの実行は1回のみである点に留意が必要だ。
唯一Astraが解けなかった問題は、微分方程式をそれが描く曲線から逆算するもので、全モデルが不正解だった。
また、採点過程で「人間側のミス」という皮肉な事態も発生した。チームが当初Astraの解答を誤りと判定した複数問について、後から元の専門家の解答に「微妙な誤り」が含まれていたことが判明し、修正後はAstraの解答が正しかったとされた。
論文の結論は明快だ。
一部のフロンティアモデルは、具体的な計算を行う能力において、専門分野であっても最高の人間研究者をすでに超えた可能性がある。
— Suvrat Raju ほか、TheoPhysEvalペーパーより
ネットアクセスの有無でスコアがほぼ変わらない理由
リアリスティックとアイソレートの差がわずかな点について、著者らは「先進モデルは理論物理学の文献の大部分をすでに実質的に記憶している」と解釈している。上位2モデルのアイソレートスコアはどちらも92%で、ウェブ検索が効いているというより、訓練データへの記憶が主な武器になっているとみられる。
同じ傾向は数学分野でも現れており、OpenAIは今月722本のAI執筆論文をGitHubに公開し、数学者がAIツールをやめられないと吐露する事例も報告されている。
「計算はできる。でも何を計算すべきか、はまだ人間が決める」
では、なぜAIはまだ物理学のブレークスルーを起こしていないのか。著者らはその理由を「計算は理論物理学の最終ステップにすぎない」と説明する。問題設定や仮説の立て方という前段では、現在のエージェントには明確な弱点がある。
- 最初の問題が難しすぎるとき、より簡単で同様に面白い問題に切り替えることが苦手
- 問題を自ら考案するよう求めると、人間の専門家が「つまらない」と判断するような細部に固執する
著者らはこれを「問題への『センス』がない」と表現し、方向性の設定には依然として人間の専門家が必要だと述べる。物理学の世界では長年「黙って計算しろ（shut up and calculate）」が合言葉だったが、AIが計算を引き受ける今、物理学者には「立ち止まって考える（stop and think）」姿勢がより重要になると論文は指摘する。
なお、著者らはこれらの問題の一部が「若手研究者の最初のプロジェクト」として使われてきた類のものであり、それをAIが数分で解けるようになった点についても問題提起している。若手研究者の育成という観点でも無視できない変化だと、論文は述べる。
各モデルの実行は1回のみのため、スコアには統計的なばらつきが含まれる。再現テスト用のファイルはHugging Faceで公開されており、誰でも検証可能だ。
詳細はOpenAI's GPT-6 Astra solved 49 of 50 unpublished physics research problems, at under $3 eachを参照していただきたい。
