11月8日、The Decoderが「AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test」と題した記事を公開した。この記事では、実際のユーザー要求から構築された新ベンチマーク「Co-Design Bench」において、最高性能のAIコーディングエージェントでさえタスクを完全に解決できるのは4件に1件程度にとどまるという実験結果を詳しく紹介している。
AIコーディングエージェントの「真の実力」を測る
AlibabaおよびアジアのUniversity（元記事に記載の複数大学）の研究チームが開発したCo-Design Benchは、既存のWebアプリをユーザーの要求に基づいて改修するタスクでAIエージェントを評価する。入力はテキストだけでなく、画像・音声・動画・ドキュメントなどマルチモーダルにも対応している。
**最も重要な数字は26.4%だ。テストした10モデルの中でトップのモデルでさえ、タスクの要件を平均約70%は満たすものの、すべて正しく完了できたのは全タスクの26.4%**のみ。残りの約74%では、人間が手直しを行う必要がある。エージェントが作業の大半をこなしても、少なくとも一つの細部が未完成のまま残るケースがほとんどだ。
既存ベンチマークの飽和という問題
研究チームが新ベンチマークを開発した背景には、既存テストの限界がある。モデルが自分でコードを実行・確認・修正できるようになった結果、WebCompass-editなどの既存ベンチマークでは99%超のスコアを叩き出すモデルが続出し、モデル間の差異はほぼ測定不能な状態になっている。
Co-Design Benchでは同じモデル群のスコアが35ポイント以上低下する。
Co-Design Benchのタスクは、実際のコーディングセッションから収集したリアルなユーザー要求が元になっている。特に、ユーザーが同じ要求を何度も言い直したり、変更をロールバックしたりしたケースを優先的に採用しており、「実際にAIが苦手としていたタスク」が中心だ。タスクの難易度は、レシートから金額を読み取って関連する合計をすべて更新するような小さな修正から、プロジェクト全体の大規模改修まで幅広い。
採点も厳格だ。まずAIジャッジがブラウザ上で完成したアプリを検証し、次に別のAIジャッジがすべての合格判定を再確認しつつ、モックアップやハードコードによる「見せかけの解決」がないかをチェックする。実際にアプリ上で機能している要素にのみ点数が与えられる。
変更タイプが増えると性能が急落
元記事に記載のモデル別順位では、上位モデルに続いて複数のモデルが評価され、最下位のモデルとのスコア差が明確に示されている。なお、本記事では元記事に記載されたモデル名をそのまま参照しているが、一部モデル名については読者自身が元記事で確認されることを推奨する。
トップモデルはマルチモーダルトラックで41%、リポジトリトラックで18%未満の完全解決率にとどまる。
特に顕著なのは、変更タイプの複合による性能低下だ。レイアウト・デザイン・インタラクション・コンテンツといった複数の種類の変更が一つのタスクに混在すると、テストしたすべてのモデルでスコアが下がる。しかし実際のプロジェクトでは、こうした複合的な要求こそが標準だ。
計算量を増やしても解決にならない。元記事によれば、あるモデルはトップモデルの約6倍のトークンを消費しながら、小規模な変更タスクで有意に低いスコアにとどまった。
モデルだけでなく「実行環境」も結果を左右する
今回の研究が示すもう一つの重要な知見は、ハーネス（エージェントがコードを読み書き・実行するための実行環境）の違いによるスコアへの影響だ。
特定のモデルでは実行環境によって大規模改修タスクのスコアが**75%または56%**と大きく変動した。さらに、どのモデルが上位に来るかという順位自体も環境次第で入れ替わった。
現在のリーダーボードはモデル単体のスコアしか掲載しないものが多いが、モデルと実行環境をセットで評価・報告すべきだというのが研究チームの提言だ。企業がコーディングエージェントを選定する際には、この2つを組み合わせて検証する必要がある。
なお、ハーネスの影響については別の研究も存在し、より精巧なハーネスを使っても性能向上はほぼ測定できず、トークン消費が最大3倍になるだけという結果も出ている。一概に「高機能な環境が良い」とは言えない状況だ。
ベンチマークと実務の乖離は既知の問題
研究組織METRによる別の調査では、広く使われるSWE-bench Verifiedのスコアと、実際のプロジェクトリードによるコードの受け入れ率の間に約24ポイントの差があることが示されている。また、テスト環境の欠陥によってエージェントが実際には問題を解決せずにテストをパスできるケースも報告されている。
Co-Design Bench自体にも限界はある。各タスクは固定された1つの要求のみを評価しており、ユーザーからの追加質問や途中での修正指示はテスト対象外だ。AIジャッジによる採点ミスの可能性も排除できない。
詳細はAI coding agents still need human cleanup on nearly three out of four tasks in a real-world testを参照していただきたい。
