11月6日、The Decoderが「No AI agent scores above 12 percent on SemiAnalysis' new real-world work benchmark」と題した記事を公開した。現時点で最も高いスコアを出したモデルでも12%止まり、採点基準を厳格に適用すれば完全に正解したタスクはゼロ——アナリティクス企業SemiAnalysisが公開した実務型AIエージェントベンチマーク「GDPx」が叩き出した数字は、現在のAIエージェント技術の到達点を容赦なく示している。
最高スコアが12%——AIエージェントの現在地
アナリティクス企業SemiAnalysisが公開したGDPxは、AIエージェントをシミュレートされた実務環境に投入するベンチマークだ。知識を問うのではなく、最大8時間にわたってSiemens NXのような業務用ソフトウェアを操作させたり、数千ファイルを含むデータルームを検索させたり、実際の企業システムへの攻撃を試みさせたりする。
タスクは206件、チップ設計・生物学・クォンツトレーディング・サイバーセキュリティ・法務など11分野に及ぶ。SemiAnalysisは「AIによる最初の1兆ドルの収益は、フロンティアAIが最大のリターンをもたらす産業から生まれる」と主張し、行政や保険は意図的に除外している。
GDPxは既存の主要ベンチマークとは設計思想が根本的に異なる。コード修正タスクで汎用エージェント能力を測るSWE-benchや、ウェブ・電話・小売などの顧客対応シナリオを評価するTAUベンチは、比較的スコープが限定されている。GDPxはチップ設計から法務・クォンツトレーディングまでをまたぐ実務シナリオを、実際のソフトウェア環境ごと再現する点で、より包括的かつ過酷な評価軸を持つ。また、SemiAnalysisはOpenAIのGDPvalとの差別化も明確にしている。GDPvalはすべての文脈をプロンプトで与える形式だが、GDPxはリアルな作業環境そのものを再現している点が異なる。
GDPxの総合ランキング。11分野を均等に重み付けして平均化。12%を超えたモデルは存在しない。｜画像: SemiAnalysis
トップのOpus 5.5でも12%、コスパではGemini 4 Carbonが優位
総合1位はClaude Opus 5.5の12%。2位のGemini 4 Carbonは10.9%だが、タスクあたりのコストはわずか16.29ドルで、Opus 5.5の約3分の1だ。GPT-6 Astraは9.6%で続く。
Gemini 4 CarbonはOpus 5.5に近いスコアを約3分の1のコストで達成。GPT-6 LunaとDeepSeek 4.1 Flashは約1ドルで5%前後。｜画像: SemiAnalysis
採点方法にも注目すべき点がある。財務・法務タスクでは、スプレッドシートの値が1つでも誤れば出力全体が実務上無価値になる。その厳格な基準を適用すると、完全に正解したタスクはゼロだ。そのため、GDPxは個々の要件をどれだけ満たしたかの割合を集計している。
具体的な失敗例も報告されている：
- アライメントテスト：200回のサイバー実行のうち**98%**が少なくとも1つの行動ルールを違反
- 医療シミュレーション：あるモデルが医師名で臨床メモに署名
- クォンツトレーディング：111回の実行のうち70回が与えられた基準戦略を下回る成績
安全フィルターがランキングを塗り替える
サイバー・生物学・アライメントの3分野を除いた分析では、順位が大きく変動する。GPT-6 Astraが11.8%でOpus 5.5を逆転してトップに立つ一方、サイバー分野でのGPT-6 AstraとGPT 6.1 Solのスコアは**0%。対照的にMetaのMuse Wonder Fullは35.2%**を記録する。プロバイダーの安全制限の差がスコアに直結している。
3分野を除外するとGPT-6 Astraがトップ。MetaのMuse Wonder Fullは全体ランキングの4位から7位に後退。安全制限が緩い分、サイバー系タスクでの貢献が大きかったことを示している。｜画像: SemiAnalysis
クローズドな設計への批判
タスクは14の専門パートナーが提供しており、各パートナーはAIラボへの学習・評価データ販売も行っている。公開されているサンプルタスクは各パートナーにつき1件のみで、残りは非公開だ。法律やハードウェア設計など複数の分野では、採点を人間の専門家ではなく言語モデルがルーブリックに基づいて実施しており、外部からの検証は難しい。
ただしこの非公開設計には方法論上の利点もある。タスクが公開されていないため、AIラボが特定の問題に合わせてモデルをチューニングできない。
AIエージェント基盤ソフトウェアの開発者であるJosh PurtellはGDPxを「シグナルより雑音が多い」と批判する。各モデルがそれぞれのプロバイダーのエージェントソフトウェア（例：OpusはClaude Code）で実行されるため、ツールが弱いプロバイダーは不利になる点と、サブドメインあたりのタスク数が約10件と少なく結果が不安定になりやすい点を問題として挙げている。
SemiAnalysisは今後3〜6ヶ月ごとにベンチマークを更新する計画だ。
詳細はNo AI agent scores above 12 percent on SemiAnalysis' new real-world work benchmarkを参照していただきたい。
