11月5日、My Electric Sparksが「Top AI Agents Fail More Than Half Of Real Engineering Tasks In New Test」と題した記事を公開した。GoogleとMercorが共同開発した新ベンチマーク「PLE」において、最先端AIエージェント14モデルが実際のエンジニアリングタスクの半数以上に失敗したという評価結果を詳しく紹介している。「AIはもうエンジニアの仕事をこなせる」という主張に、具体的なデータが反論した格好だ。
最高スコアでも48.3%止まり
Googleと、エンジニア特化の人材プラットフォームであるMercorが共同で構築したPLE（元記事によれば "Physical Layer Engineering" に相当するベンチマーク）は、実際のエンジニアリング業務から収集した85タスクを14の最先端モデルに課した。結果、すべてのモデルが50%未満に終わり、**最高スコアは48.3%**だった。
PLEという名称は「エンジニアリングの最終試験」という意味合いを込めた命名だと元記事は説明している。資格試験が人間を評価するように、AIエージェントを評価する設計だ。
テストが厳しい理由：「それっぽい回答」は通らない
PLEが他のベンチマークと大きく異なるのは、成果物ベースの評価にある。
各タスクは短答問題ではなく、実際に使える設計書や図面の提出を求める。エージェントはMercor Archipelagoというサンドボックス環境の中で作業する。MercorはエンジニアリングやR&D人材の採用評価を手がける人材プラットフォームで、Archipelagoはその技術評価用に構築されたコンテナ型のサンドボックス環境だ。人間のエンジニアが実際に使うツールやファイル群を再現しており、記憶した答えを貼り付けるだけでは通過できない設計になっている。
採点も厳格だ。各成果物は安全基準・実現可能性の「ハードチェック」に照らして判定される。荷重ルール、電圧制限、クリアランス要件など、実際の施工で問題になる基準だ。部分点はなく、一つでも引っかかれば不合格となる。
この結果、成果物全体のうち安全・実現可能性チェックをすべて通過したのは41.3%のみだった。見た目が完成していても、実際には使えない設計が大量に混じっているということだ。
85タスクの内訳：4分野にまたがる
元記事に記載された分野別のタスク数は以下のとおりだ。
| 分野 | タスク数 |
|---|---|
| 機械工学 | 30 |
| 電気工学 | 27 |
| 土木工学 | 18 |
| 構造工学 | 10 |
| 合計 | 85 |
冷却ループの設計、配電盤レイアウト、敷地計画、屋根の架構設計などが並ぶ。実際のプロジェクトチームと同様に、特定の分野だけに強いモデルではカバーしきれない設計になっている。
試験問題の漏洩を防ぐ設計
85タスクのうち公開されているのは29タスクのみで、残りは非公開だ。これは試験問題をトレーニングデータに使われることを防ぐためである。公開部分で手法や採点基準を検証しつつ、非公開部分でモデルの汎化性能を測る構造は、資格試験の標準的な設計に倣っている。
この仕組みにより、スコアを上げるには「既知の問題の答え」を覚えさせるのではなく、エンジニアリングの根本的なルールを学習させる必要がある。
他のベンチマークと整合する「難タスクに弱い」パターン
今回の結果は、他の厳格なエージェント評価とも一致する。同媒体が紹介しているGDPxエキスパートベンチマークでは、最高エージェントが難タスクで**12%**しか取れなかった。AIエージェントは短いタスクでは高パフォーマンスを見せるが、長時間にわたる専門的な作業になると性能が落ちるという傾向が、複数のベンチマークを通じて浮かび上がっている。
エンジニアリング分野では、この性能差が特に重要だ。誤ったビームサイズや配線仕様は、ソフトウェアのバグとは異なり、物理的な危険に直結する。
現時点での使い方と今後の課題
記事は、現段階でのAIエージェントの適切な位置付けを明確に示している。「エージェントが下書きし、人間が検証する」モデルが現実的だ。エージェントに無監督で承認権限を与えるのはリスクが高い。
モデル開発側への示唆としては、長タスクにおける計画能力の向上、物理法則に基づくルールの検証機能、設計が限界値に近いときの不確実性の明示、といった点が挙げられている。
また、エージェントがサンドボックス環境で作業するため、失敗したタスクを再現・分析できる点も今後の改善に活かせるとされている。スコアの向上より先に安全チェック通過率の向上が信頼構築の指標になるという指摘は、実務的な視点として参考になる。
今後のPLEの運用で、モデルが50%の壁を超えるかどうかが注目点となる。
詳細はTop AI Agents Fail More Than Half Of Real Engineering Tasks In New Testを参照していただきたい。
