9月16日、James Shoreが「James Shore: Measuring AI's Impact on Delivery Speed」と題した記事を公開した。Shoreは『The Art of Agile Development』の著者であり、アジャイル開発の現場実践者として長年知られるエンジニアだ。この記事では、AIがソフトウェア開発の納期速度に与える影響を厳密に測定するための手法について詳しく紹介されている。
「AIで速くなった」は本当か？ 感覚と実測の乖離
AIがソフトウェア開発を速くしているか、と問われれば多くのエンジニアは「そう思う」と答える。だが「どれだけ速くなったか」「費やしたコストに見合っているか」「もっとROIの高いAIの使い方があるか」——これらを定量的に答えられるチームは少ない。
本記事が核心として指摘するのは、METRの調査における衝撃的な数字だ。経験豊富なエンジニアたちは、AIによる速度向上を実際より約50%過大評価していた。計測なしでは、自分たちが何を得ているか知りようがない。
「納期速度」の測定がなぜ難しいか
James Shoreはまず、ソフトウェア開発速度には客観的な単一指標が存在しないことを整理する。
- コード行数・PR数：サイズが標準化されていない
- フィーチャー・バグ・ストーリー数：タスクの難易度がバラバラ
- 見積もり遵守率：ソフトウェアの見積もりは構造的に楽観的すぎる
つまり、チーム間の単純比較は意味をなさない。有効なのは「チームをそれ自身と比較する」ことだけだ。
さらに4つの落とし穴が待ち受ける。
1. 見積もりはばらつく 実際の所要時間と見積もりの比率は一定でなく、対数正規分布に近いS字カーブを描く（記事内に実企業データのグラフあり）。AIの効果が出れば、このカーブ全体が左にシフトする。
2. 人によって働き方が違う 悲観的に見積もる人、楽観的な人、教育に時間を使う人……個人差を除去するため、他者との比較でなく個人内比較（within-subject）が必要だ。
3. AIを使うと分かると見積もりが変わる 「AIを使う」と知った状態で見積もらせると、期待値が混入する。対策は、タスクをAI使用/不使用にランダム割り当てする前に見積もりを取得すること。
4. 他のプロセス改善との混同 AI導入と同時にワークフローを整理し、ビジネス担当者と開発者の連携を強化するチームは多い。だがそれ自体が開発効率を上げる。AI起因の効果なのか、コミュニケーション改善の効果なのかを分離するには、「AIあり」タスクと「AIなし」タスクを時系列で交互に実施する必要がある。
推奨される測定設計：ランダム化対照試験
これらの落とし穴を踏まえてShoreが提示する手法は、「ランダム化被験者内反復測定試験（randomized within-subject repeated-measures trial）」だ。臨床試験で使われる手法をソフトウェア開発に適用する。
具体的な手順は以下のとおりだ。
- 「AIあり」アプローチと「AIなし」アプローチを明確に定義し、両方を練習させる
- 「AIなし」側にも、「AIあり」側で導入したプロセス改善を適用する（混同を防ぐため）
- 各人に「AIあり」「AIなし」を半々に入れた仮想バッグを持たせ、タスクごとにランダム抽出する
- 見積もり時間・実際の所要時間・タスク種別・AIコストを記録する
- 個人の「AIあり」データを同一人物の「AIなし」データと比較し、全体で集計する
統計家の協力が必要にはなるが、データ収集はチームの通常業務の中で行える。
速度向上の数字をそのまま信じるな
もう一点、重要な補正がある。コーディング速度が2倍になっても、それがそのまま全体の生産性向上にはならない。
たとえば、コーディングが2倍速くなっても、エンジニアが週の50%をコーディング以外の業務に使っているなら、全体の速度向上は2倍ではなく1.33倍にとどまる。これは「ボトルネック理論」的な考え方で、コーディングが業務時間の50%を占める場合、AIによる恩恵を受けられる上限もその50%に限られるためだ。計算式で示すと、1 ÷ (0.5 + 0.5 ÷ 2) = 1.33 となる（コーディング以外の50%は変化せず、コーディングの50%が半分の時間で済む場合）。AIの効果を語る際にこの視点が抜けている議論は多い。
また、「納期速度」は「生産性」とイコールではない。生産性とは生み出した価値÷費やしたコストであり、速く進んでいても方向が間違っていればROIはマイナスになる。ビジネスアウトカムの測定については本シリーズの後続パートで扱われる予定だ。本シリーズの全体構成や他パートへのリンクは著者のブログトップから確認できる。
この測定は「やる価値があるか」
Shoreは率直にこう答える——「普通のプロセス改善なら、これほど手間はかけない。だが今は違う」。
AIツールへの支出はエンジニア1人あたり月数百ドルから数千ドルまで桁違いの差がある。ハンズオフのエージェント型コーディングに高額を投じるべきか、安価な補完ツールで十分か——それは結果次第であり、結果は測定なしには分からない。
詳細はJames Shore: Measuring AI's Impact on Delivery Speedを参照していただきたい。
