11月10日、Aizaz Khanが「Best AI Coding Agent Finishes Only 26.4 Percent Of Real Tasks In New Test」と題した記事を公開した。この記事では、実ユーザーのタスクを用いた新ベンチマーク「Co-Design Bench」で、首位のAIコーディングエージェントでさえタスク完遂率が26.4%にとどまるという評価結果が詳しく紹介されている。
「4件に3件は失敗」——AIコーディングの実態
AIコーディングエージェントが業務に普及するなか、その実力を現場寄りの基準で測ろうという動きが出てきた。Alibaba主導・複数大学が参加した研究チームがarXivで公開した評価フレームワーク「Co-Design Bench」がそれだ（2025年10月26日付のプレプリント）。
なお、元記事に記載されている論文ID「2610.35138」は通常のarXiv形式（YYMM.NNNNN）と桁数が異なる。現時点では直接リンクでの誘導ができないため、arXivトップページから「Co-Design Bench」で検索することを推奨する。
このベンチマークの特徴は、ラボが作った人工的なタスクではなく、37,463件のユーザークエリと26,314件のチャットセッションから抽出した273タスクを使っている点にある。評価も2,331件の非公開評価基準で行われるため、スコアの水増しが効きにくい構造になっている。
スコアの実数
| モデル | 隠し評価基準達成率 | タスク完全完遂率 |
|---|---|---|
| GPT-6 Astra（OpenAI） | 69.9% | 26.4% |
| Claude Opus 5（Anthropic） | ※元記事に記載なし | 18.3% |
| Qwen系（Alibaba、3〜4位） | ※元記事に記載なし | ※元記事に記載なし |
| Grok 4.6（xAI） | ※元記事に記載なし | 6.6% |
首位のGPT-6 Astraでさえ、タスクの4件に3件は完全には仕上がらない。 これはあくまで全モデル中トップの数値であり、全体平均ではない点に注意が必要だ。マルチモーダルタスクでは41.0%、リポジトリ操作タスクでは17.9%という内訳で、タスク種別による差も大きい。最下位のGrok 4.6との差は約20ポイントと開いている。
Claude Opus 5・Qwen系・Grok 4.6の「隠し評価基準達成率」については、元記事に数値の記載がないため表中では注記にとどめた。
見落とされがちな「ハーネス」問題
数字を読む際に見落とせない要素がある。「ハーネス（harness）」だ。ハーネスとは、エージェントにツールや実行ステップを与えるフレームワークのことで、実行環境に相当する。
記事によれば、同一モデルでもハーネスの違いでスコアが最大18.9ポイント変動するという。モデル自体の差より実行環境の差のほうが大きくなるケースもありえる計算だ。製品や比較記事でスコアを参照する際は「どのハーネスで測ったか」を確認することが不可欠になる。
ベンチマーク自体の限界も正直に
論文はプレプリント段階で、外部レビューはまだ通っていない。いくつかの留保点も記事は率直に挙げている。
- 公開データは96件のマルチモーダルタスクのみ。リポジトリタスクは非公開で、外部チームが全体を再現評価することはできない。
- タスクの多くが中国語ユーザー由来のため、中国語対応に強いモデルに有利な偏りがある可能性がある。
- Alibaba主導の研究だが、自社のQwenモデルは3〜4位にとどまっており、ホームチーム有利の操作が行われた形跡はないと記事は指摘する。
GPT-6 Astraの汎用性
GPT-6 Astraはコーディング以外の領域でも首位を取っている。湿式実験室タスクを評価するBioBasicsBench（myelectricsparks.comの関連記事で詳しく紹介されている）でも66.7%でトップだった。コードと科学タスクの両方で強さを示している点が、競合との違いとして記事では触れられている。
AIエージェントへの依存がはらむリスク
記事はセキュリティ面にも触れている。以前、ダウンロードフォルダに仕込まれたファイルがAIコーディングエージェントをマルウェアのインストーラーに変えた事例があった。エージェントはコードを速く書けるが、悪意のあるファイルも同様に実行してしまう。Co-Design Benchの結果はこれに「タスクを半完成のまま残す」という別のリスクを加える。
まとめ
AIコーディングエージェントは下書き、検索、ビルドといった工程をこなせる。しかし現状、トップモデルでさえ仕上がるのは4件に1件だ。残りの3件は人間が確認し、修正し、リリースする。エージェントをうまく使いこなせるエンジニアが優位に立つという構図は、当面変わらなさそうだ。
詳細はBest AI Coding Agent Finishes Only 26.4 Percent Of Real Tasks In New Testを参照していただきたい。
