10月8日、Sergio De Simoneが「Survey Finds AI-Generated Code Increases Debugging and Failure Rates and Creates a Comprehension Gap」と題した記事を公開した。この記事では、AIコーディングエージェントの普及によってコード生成速度は上がった一方、デバッグや障害対応の負荷が増大し、リリースサイクル全体の短縮にはつながっていないという調査結果について詳しく紹介されている。
AIが書いたコードを「誰も理解していない」問題
AIコーディングエージェントが現場に浸透して久しいが、「速く書けるようになったのに、なぜか楽にならない」という感覚を持つエンジニアは多いのではないか。今回の調査はその感覚を数字で裏付けるものだ。
調査はAIによるルートコーズ分析（根本原因分析）を専門とするUndoの委託を受け、独立系リサーチ企業Coleman Parkesが実施した。対象はミッションクリティカルなソフトウェアの開発を担うシニアエンジニアリングリーダー300名。回答者の多くはC/C++を扱う環境に従事しており、組み込み・インフラ・金融システムといった信頼性要求の高い領域が調査の主な対象となっている点は、結果を読み解く上で重要な文脈だ。
調査結果が示した最も重要な数字は次の2つだ。
- コード生成に費やす時間：週平均9.8時間
- デバッグに費やす時間：週平均16.9時間（労働時間全体の約42%）
つまり、エンジニアはコードを書く時間よりもデバッグに費やす時間の方が約1.7倍多い。AIがコードを量産してくれるようになったことで、ボトルネックが「書くこと」から「直すこと・理解すること」に移行した構図が鮮明だ。
「誰も理解していないコードが本番に出ていく」
この調査で特に深刻なのが、コード理解のギャップ（Comprehension Gap）だ。
調査によれば、AIが生成したコードの35%は、チームが十分に理解しきれないまま本番環境に投入されている。報告書はこの問題をこう表現している。
AIがコードの大部分を生成するようになった今、エンジニアはかつて持っていた本質的な理解を持てなくなった。それによって欠陥が見逃されやすくなり、何か問題が起きたとき、誰も障害の根本原因を追跡できないという状況に陥る。
さらに、80%の回答者が「AIエージェントは複雑なコードベースでの難問を解決するのが苦手」と回答。複雑なシステムに対してはAIエージェントを使わず、別の手法で信頼性を確保しているチームが全体の約3分の1に上る。
本番障害・ハルシネーションによる誤診断が頻発
障害発生の実態もあわせて報告されており、数字は厳しい。
- 本番インシデントまたはサービス停止：81%が過去6ヶ月に少なくとも1回経験。14%は月複数回
- ハルシネーションによる誤った根本原因診断：93%が少なくとも1回経験。18%は月複数回
- テスト漏れ・深刻な欠陥・最適化不足のコードの本番流入：91%が少なくとも1回経験。8%は月複数回
Undoの創業者でCEOのGreg Lawは調査結果をこう総括している。「エージェントは大量のコードを素早く書くのは得意だが、デバッグは苦手だ。エンジニアたちは『ほぼ正しいが、完全ではない』コードを前に、何が、なぜ問題なのかを解明するために何日も費やしている」。
「リリースサイクルは以前より速くなっていない」
調査の結論として、79%のエンジニアリングリーダーが「AIエージェントはコードを大幅に速く生成できる」と認める一方、デバッグやAI生成コードの解読に費やす工数の増大によって、リリースサイクル全体は以前と変わっていないと回答している。
この数字が示すのは、生成速度の向上がそのままデリバリー速度に直結しないという構造的な問題だ。コードを書くフェーズだけが加速し、レビュー・理解・デバッグ・障害対応といった後続フェーズの負荷がむしろ増大することで、トータルのリードタイムは短縮されていない。「AIで開発が速くなった」という体感と、「リリースが速くなっていない」という現実のギャップは、この調査が示す最も重要な知見の一つだ。
※編集部の考察：こうした課題への対処として、エンジニアリングコミュニティではAIエージェントの出力を人間がレビュー可能な単位に分割するワークフロー設計や、根本原因分析ツールの強化が注目されている。本調査を委託したUnd自身もその方向性でのアプローチを提案している企業であり、調査結果の解釈には出典の立場も念頭に置いておきたい。
詳細はSurvey Finds AI-Generated Code Increases Debugging and Failure Rates and Creates a Comprehension Gapを参照していただきたい。
