9月3日、Stack Overflowが「The economics of agent scale: tokens, ROI, and building platforms for AI-first teams (Part 2)」と題した記事を公開した。GoogleのAndi Gutmans氏とStack OverflowのPeter O'Connor氏の対談で一貫して強調されているのは、「token maxing（トークン最大化）は間違ったゴール設定だ」 という逆説的な主張だ。AIエージェントの大規模運用においてコンテキストウィンドウをフル活用することが精度向上につながると思われがちだが、Gutmans氏はその発想そのものを否定する。
「トークンを最大化する」発想が間違いである理由
Gutmans氏の主張の核心は次の一言に集約される。
「欲しいのは、最小限のコンテキストで必要なアウトカムを最低コストで出せること。どれだけトークンを使ったかではなく、以前より差別化されたアウトカムを得られているか、そしてそのROIが出ているかが問題だ」
コンテキストを絞ることで、トークン処理コストが下がり、モデルの推論ループが短くなり、精度が向上する。これは「とにかく情報を詰め込む」アプローチとは真逆の発想だ。※なお、この三点セットは元記事の対談から読み取れる論理的帰結を編集部がまとめたものであり、原文で明示的に箇条書きされているわけではない。
Gutmans氏はさらに、「どのコンテキストが実際に重要かを特定する検索問題は、トップ3の難問の一つ」 と明言する。「解決済みだ」と主張するベンダーには懐疑的であるべきだとも述べており、人間が手でオントロジー（概念の体系・分類構造）を構築してエージェントを強化しようとするアプローチは「理論であって実践ではない」と切り捨てた。
エージェントスケールで起きるコスト爆発のリスク
人間のオペレーターが操作する従来のシステムでは、1日に押せるボタンの数に物理的な上限がある。コスト予測も比較的容易だ。しかしエージェントスケールになると状況が変わる。
- 1人の社員が数十〜100体のエージェントを持つ
- エンタープライズ内で数百万体のエージェントが稼働する可能性がある
- エージェントは24時間365日、人間より圧倒的に速くタスクを処理する
Gutmans氏はこれを「コストスパイラル」と表現する。ROIと使用状況をガバナンスしないまま放置すると、コストが非線形に膨らむリスクがある。O'Connor氏も「CFO（最高財務責任者）が予測困難だと頭を抱えている」と同意している。
この文脈で重要になるのが、モデル単体ではなくシステム全体（モデル＋ハーネス＋ツール＋データプラットフォーム）をコスト最適化の対象として見ることだ。
モデルは「もう十分」、差は「システム全体」にある
Gutmans氏は「今日の多くのタスクに対して、現行のモデルはすでに十分な性能を持っている」と断言する。重要なのはモデルの性能改善よりも、以下の三点をどう設計するかだという。
- ハーネス（エージェントの実行フローを制御し、ツール呼び出しや推論ステップを管理する仕組み）
- コンテキストの最適化
- パーソナライゼーション
「最もシンプルなモデルで仕事を済ませる」という原則が対談を通じた一貫したテーマだ。軽量モデル（対談ではGemini 2.5 Flashが例として挙げられている）で十分な用途にGemini Proを充てるのはコストの無駄であり、ハーネスの設計次第でモデル選択の柔軟性も大きく変わると述べている。
週末のプロトタイプが変えたリスク管理の常識
対談で最も具体的なエピソードとして、Gutmans氏は自身の体験を話した。
「以前なら、アイデアを試すためにエンジニアを3〜4ヶ月かけてプロトタイプに充てる話し合いをしていた。それが今は週末で自分でプロトタイプを作り、チームに『こんなことが実現できる』と示せた」
プロダクションコードのクオリティではないが、設計上のリスクを早期に洗い出せる点に大きな価値があるという。意思決定の失敗を早期に回避できるコスト削減効果は、直接のROIとは別の次元で重要だと指摘している。
プラットフォームエンジニアが今やるべきこと
Stack Overflowでプラットフォームエンジニアリングを率いるO'Connor氏は、エージェントを「開発者・データサイエンティスト・ビジネスユーザーと並ぶ、独立したペルソナ」として扱う設計の必要性を説く。
既存のユーザー向けUIや権限管理の延長線上でエージェントを扱うのではなく、エージェント固有のオブザーバビリティ（挙動の可観測性）やコストガバナンスの仕組みを別途設計する必要があるという認識だ。
対談ではDeutsche Telekomによる自律的ネットワーク運用への適用事例も触れられており、エージェントが障害検知・自動対応といったSRE（サイト信頼性エンジニアリング）領域のタスクを担うユースケースが具体例として示されている。ただし詳細なROI数値については「まだ業界全体で測定手法が整備されつつある段階」との認識が両氏に共通しており、事例の定量的な評価は今後の課題として位置づけられている。
詳細はThe economics of agent scale: tokens, ROI, and building platforms for AI-first teams (Part 2)を参照していただきたい。
