10月30日、Alasdair Allanが「The Ladder Is Missing Rungs: Engineering Progression When AI Ate the Middle」と題したプレゼンテーションをInfoQで公開した。AIが中級タスクを自動化した結果、ジュニアエンジニアの成長機会が構造的に失われつつある問題について詳しく論じている。
「監督のパラドックス」——AIを使うにはAIを検証できる力が必要だが、その力はAI使用で失われる
プレゼンテーションの中で紹介されているランダム化比較試験（RCT）が、この問題の核心を突いている。52名の主にジュニアエンジニアが、Pythonの非同期ライブラリ「Trio」を学習するという課題に取り組んだ研究だ。AI支援ありとなしでかかった時間は統計的に有意な差がなかった（p値=0.391）。AIグループは約2分速かったに過ぎず、誤差の範囲内だ。
ところが、学習後の理解度テストではAIグループが17%低いスコアを記録した（50% vs 67%、p値=0.01）。最も差が開いたのはデバッグ問題——皮肉なことに、AIの出力を検証するために真っ先に必要なスキルだ。
このRCTはAllanのプレゼンテーション内で引用された研究であり、Anthropic自身が公表した研究かどうかについては元記事の記述に沿って確認が必要だが、Allanはこれを「supervision paradox（監督のパラドックス）」と呼ぶ概念の根拠として位置づけている。AIの出力を監督するには高度なコーディングスキルが必要だが、そのスキルはAIへの過剰依存によって失われていく。スピードと引き換えに学習を犠牲にしたわけでもない——スピードも上がらず、学習だけが失われた。
低スコアのグループには3つの行動パターンが共通していた：
- フルAI丸投げ：最初から自分で考えず、AIに全面依存する
- 段階的AI依存：最初は試みるが、すぐに諦めてAIに頼り切る
- AIでAIをデバッグ：AIの出力を理解しようとせず、AIを使ってデバッグする
これら3つのパターンに当てはまった開発者のスコアはいずれも40%を下回った。
ハシゴの踏み段が消えている
問題の構造を理解するには、METRが計測している「50%タスク完了時間地平線」のデータが参考になる。AIエージェントが50%の成功率で完了できるタスクの長さを指す指標で、これが2019年以来おおよそ7か月ごとに倍増しており、2024年以降は約4か月ごとに加速している。
具体的な数字を見ると：
- 4分未満のタスク（小さなバグ修正、定型実装）：AIの成功率はほぼ100%
- 1時間程度のタスク：成功率は約50%
- 4時間超のタスク：成功率は10%未満
ジュニアエンジニアが1年目にこなすような短時間タスクはほぼすべてAIで代替可能だ。一方、数年間の経験から得られる判断力を要するタスクはAIには難しい。
問題は、その「短時間タスク」こそがジュニアエンジニアを育てる踏み段だったという点だ。4分以内の仕事がAIに置き換えられると、若手が足場として使えるはずだった経験の積み上げの機会が消える。ハシゴは残っているが、下の踏み段が抜け落ちている。
なお、これらのベンチマーク数値は現実を過大評価している面もある。METRの別調査では、自動テストを通過したAI生成プルリクエストの約50%はリポジトリメンテナーにマージされないという。実際、Claude 3.7 Sonnetが18の実タスクに取り組んだ結果、テストは通過したが38%のケースでマージ可能なPRがゼロだった。品質問題として挙げられたのは、ドキュメント不足、テストカバレッジ不足、Lintエラー、コード品質の低さだ。AIがAI生成PRを「マージ可能な状態」にするまでにかかった時間は平均42分——人間がそもそも実装にかける時間の約3分の1だった。
採用現場でも信号は雑音だらけ
著者のAllanはスケールアップ企業の暫定CTOとして過去1年間、大量の採用を経験した。その現場でも変化は顕著だという。「ポートフォリオが印象的でも、質問すると崩れる」候補者が増えた。「自分でビルドした」が実質「プロンプトを入力した」になっているケースだ。
Faros AIが約1万人の開発者・1,200チームのテレメトリを分析した報告では、AI採用率が高いチームほど：
- タスク完了数：21%増
- マージされるPR数：98%増
- PRレビュー時間：91%増
- 開発者あたりのバグ数：9%増
- PRの平均サイズ：154%増
ボトルネックは消えず、コードレビューというシニアの判断力が最も要求される場所に移動しただけだ。
「依存」はすでに制御不能なレベルに
METRが追跡調査を実施しようとしたところ、参加者を集められなかった。AIなしで半分のタスクをこなすことを拒否する開発者が増えすぎたためだ。「AIありでの研究はするが、なしはしない」という回答が続出し、対照群が組めなくなった。
ツールが「任意」から「不可欠なインフラ」になるまでに要した時間は、1年を切っていた。
まとめ
AnthropicのCEO・共同創業者であるDario Amodeiが「12か月以内にAIがほぼすべてのコードを書く」と発言したことは広く知られている。Allanのプレゼンテーションはその是非を問うものではなく、AIが書くかどうかではなく、エンジニアをエンジニアたらしめてきた経験の積み上げ構造そのものが崩れているかどうかを問うものだ。
なお、まとめ節でRedwood ResearchやGoogle・Microsoftの内部データへの言及は元記事に基づいているが、プレゼンテーション形式という性質上、引用元の詳細は元資料を直接確認することを推奨する。データはすでにその崩壊を示しつつある、というのがAllanの結論だ。
詳細はThe Ladder Is Missing Rungs: Engineering Progression When AI Ate the Middleを参照していただきたい。
