11月6日、Zeus Kerravalaが「AWS' Colleen Aubrey: Stop inventing new AI metrics — it's your business metrics that matter」と題した記事を公開した。AWSのColleen AubreyがAI導入の成否をビジネス指標で測るべき理由と、企業がパイロット地獄から抜け出すための実践的な考え方について詳しく紹介している。
「AIのROIスライド」を捨てろ
AWSでApplied AI SolutionsのSVPを務めるColleen Aubreyは、Amazonで20年以上のキャリアを持ち、現在はAmazonの経営幹部会議体であるS-teamのメンバーでもある。彼女の主張は明快だ。
「AIの影響を測るために新しい指標を作ろうとすることが心配だ。指標は同じだ。重要なのはビジネス指標だ」
企業がAI投資を評価しようとする際、"トークンあたりのリターン"や"ユーザーあたりのプロンプト数"といった指標を持ち出すケースが増えている。Aubreyはこれを明確に否定する。そうした数値は活動量を測っているにすぎず、ビジネス上の価値とは無関係だ、というのが彼女の立場だ。
具体的な成功事例として挙げるのがWells Vehicle Electronicsだ。同社はAWSのConnect Decisionsを導入後、3ヶ月で在庫を7%削減し、監視対象のSKU数を20から2,000に拡大した。議論の焦点はトークン消費量ではなく、CFOが普段から追っている運転資本だった。「CFOがすでに追跡している指標に紐付けられないプロジェクトは、投資ではなく実験だ」とAubreyは言う。
機能の網羅を目指すのは罠
Aubreyが最初に着任したとき、AWSにはアプリケーション層のプログラムが35本あった。その中で最も成功していたのが、コンタクトセンター向けのAmazon Connectだ。
Connect成功の核心は「機能の網羅を最初から諦めた」点にある。Aubreyによれば、Connectチームは「機能パリティ（競合製品と同等の機能を揃えること）を達成しようとしなかった」。その代わり、AWSバックボーン上の音声品質という一点に絞り、そこから展開した。
対照的に、AWS Supply Chainの初期チームは、数十年の実績を持つERPベンダーに追いつくべく5つのモジュールを並行開発していた。Aubreyはこれを「機能パリティを目指すトラップ」と呼ぶ。彼女はSupply ChainをConnect Decisionsとして作り直し、問いを変えた。「最も痛みが大きく、現行ツールが最も弱い場所はどこか？」
答えはサプライチェーンプランナーだった。「彼らは常に消火活動をしている。大量のシグナルに圧倒され、判断しようとした時にはすでに機会を逃している」。現在、Connect DecisionsはTE Connectivity社で2,000人のプランナーに展開されている。
ボトルネックはなくならない、移動するだけ
Amazonも他企業と同様、ソフトウェア開発領域からAI活用を始めた。コーディングアシスタントを全社展開したところ、最初は「みんながいろんなことを試している」混乱状態になったという。
しかしAubreyはこれを問題とは見ていない。「テストカバレッジがひどいとわかる。それを直すと、パイプラインがひどいとわかる。パイプラインを直すと、手動介入をなくして高速デプロイができる」。この連鎖の結果、Aubreyのチームは今年、本番環境へのプッシュ速度が2倍に向上した。
重要なのは、速度向上の原因がコーディングアシスタント自体ではなく、アシスタントが露わにした下流の問題を修正したことにあるという点だ。ツールだけ買ってインフラを放置すると、活動量は増えても成果物は変わらない。
ITリーダーへの5つの実践指針
Aubreyの考え方を整理すると、以下の5点になる：
- 楔（くさび）を選べ、プラットフォームを選ぶな。 一度に機能全体を再構築しようとせず、人が溺れている意思決定ポイントを一つ特定する。
- 「AI ROI」スライドを捨てる。 プロジェクト承認前に、会社がすでに追っているビジネス指標（在庫、解決率、採用期間、サイクルタイム等）に紐付けてベースラインを設定する。
- 下流の修正にも予算を確保する。 AIが露わにする次のボトルネック（データ品質、インテグレーション、テスト等）のために、あらかじめ人員と予算を確保する。
- 役割をタスクではなくアウトカムで定義し直す。 Aubreyの言葉を借りれば「タスクを所有することは選べない。アウトカムを所有することを選ばなければならない」。
- UXを調達基準にする。 「優れたAIでも、ユーザー体験が悪ければ失敗する」というのがAubreyの見立てだ。ベンダー評価では、モデル性能と同じ重みでUX品質を評価する。
なお、Aubreyが掲げる設計哲学は「ヒューモーフィズム（humorphism）」と呼ばれる。AIを人の既存の働き方に合わせる、という考え方で、人をAIの側に合わせさせるのではなく、自然に使えることで行動変容が起きる状態を目指すものだ。元記事ではAubreyが使用している表現として紹介されており、AWSの公式コンセプトとして定義されたものかは現時点では不明だ。
まとめ
Aubreyのメッセージを一言で言えば、「パイロットを量産しているだけの企業が次に問うべきは、自社のCFOが毎週見ている指標を動かせているか、という一点に尽きる」だ。AI専用の新しい成功基準を設けた瞬間、それは経営から切り離された実験になる。既存のビジネス指標に紐付けることが、パイロット地獄を抜け出す唯一の出口だとAubreyは主張している。
詳細はAWS' Colleen Aubrey: Stop inventing new AI metrics — it's your business metrics that matterを参照していただきたい。
