powered by TechFeed
表示モード
Deep Dive

AIエージェントが50ステップで8%まで劣化する問題 — Googleが実証する「検証ゲート付きループ」で50ステップでも88%を維持する設計手法

11月18日、Alex Astrumが「How to Build Durable Agentic Systems with Google Antigravity: From Instructions to Loops」と題した記事を公開した。この記事では、Google Antigravityを使ってシングルターンの指示から堅牢なエージェントループを構築する実践的な手法について詳しく紹介されている。ループがなぜ必要か:数学が示す現実エージェントにタスクを逐次実行させると、成功率は指数的に劣化する。各ステップが独立した確率事象だとすると、N個のステップからなるチェーンの累積成功率はp^Nになる。たとえば、ステップ精度95%のモデルに20の連続ファイル変更を実行させると、成功率はわずか**36%に落ちる。50ステップなら8%**だ。これは理論的な話ではなく、設計上の判断を誤れば現実のプロダクションで即座に再現する数値だ。

11月18日、Alex Astrumが「How to Build Durable Agentic Systems with Google Antigravity: From Instructions to Loops」と題した記事を公開した。この記事では、Google Antigravityを使ってシングルターンの指示から堅牢なエージェントループを構築する実践的な手法について詳しく紹介されている。

ループがなぜ必要か:数学が示す現実

エージェントにタスクを逐次実行させると、成功率は指数的に劣化する。各ステップが独立した確率事象だとすると、N個のステップからなるチェーンの累積成功率はp^Nになる。

たとえば、ステップ精度95%のモデルに20の連続ファイル変更を実行させると、成功率はわずか**36%に落ちる。50ステップなら8%**だ。これは理論的な話ではなく、設計上の判断を誤れば現実のプロダクションで即座に再現する数値だ。

チェーン長 精度95%(生) 95%×95% ループ
3ステップ 86% 99%
10ステップ 60% 98%
20ステップ 36% 95%
50ステップ 8% 88%

ここで登場するのが「検証ゲート付きループ」だ。ステップ失敗を95%の確率で検出し、1回だけターゲットを絞ったリトライを許可する構造にすると、実効ステップ成功率は 0.95 + (0.05 × 0.95) = 99.75% まで引き上がる。上の表の「ループあり」列はこの構造を前提にした試算値であり、50ステップ時の88%はあくまでこの条件下での推計である点に注意が必要だ。

重要な制約が2つある。第一に、検証ゲートはワーカーとは独立した外部チェックでなければならない。コンパイラ、テストスイート、リンターがそれにあたる。第二に、ゲートを「通過するためにテストを削除・弱体化させる」ことをエージェントに禁じるルールをプロジェクト指示に明文化する必要がある。エージェントは最短経路でゴールを達成しようとするため、この制約を明示しなければ検証そのものを骨抜きにする方向へ動く可能性がある。

また、コンテキストのブロートも現実的な制約だ。各ステップがトークンコンテキストの約1%を消費すると仮定すると、50ステップ前後で圧縮が必要になる。著者が推奨するのは20ステップを1エージェントの上限とし、より複雑な問題はサブエージェントへ分割する構造だ。

5階層のタスク分類:どこからループが必要か

著者はエンジニアリング作業を5段階に分類している。この分類は「どの複雑度からエージェントループが必要になるか」を判断するための実践的な指針だ。

  1. 質問:エージェント不要。アシスタントで十分。
  2. タスク/アイデア:シングルプロンプトでゼロショット可能。Google AI Studioで素早くプロトタイプ化。
  3. アプリ/フィーチャー/ストーリー:ループと本格的なエージェントが必要になるレイヤー。仕様・計画・テストをループ実行前に確定させることが鍵。ここを曖昧にしたままループを走らせると、エージェントは「何を達成すればよいか」の解釈を途中で変えてしまう。
  4. プロジェクト/エピック:複数フィーチャーの統合。計画フェーズにもループが有効。
  5. システム:AGENTS.mdの作成、スキル・サイドカーの設定、検証ゲートの配線、インストゥルメントクラスターの構成。ループの効果が最大になり、リスクも最大になる。

著者が強調するのは、階層3以上では「実行前の設計フェーズ」が成否を分けるという点だ。ループを走らせる前に受け入れ条件とテストを書いておくことで、検証ゲートが機能する前提条件が整う。

堅牢なシステムを構成する5本柱

著者が実践で特定した、ループが「崖から落ちない」ための要件は以下の5つだ。これらはそれぞれ独立した設計要素ではなく、互いに依存しながら機能する。

  1. Durable State(永続状態):Gitバックのチェックポイントにより、クラッシュ後も作業を再開できる。途中でセッションが切れても「どこまで完了したか」が追跡可能であることが、長いループを安全に運用する前提条件になる。
  2. 検証ゲート:テストスイートとコンパイラによる決定論的チェック。実装前に受け入れ条件とテストを書くことで、ゲートが何を判定するかが明確になる。
  3. Evals(評価):決定論的に検証できないが重要な事項を評価する仕組み。答えをyes/noに絞り、精度95%超を目標にする。ゲートで弾けないケースをEvalsがカバーする構造だ。
  4. 停止条件:ターン上限(推奨20)とトークン・コスト上限でAPIバジェットの暴走を防ぐ。停止条件のないループは、エラーループに陥った場合に際限なくコストを積み上げる。
  5. 標準化されたスキルと指示:SKILL.md形式のモジュールとAGENTS.mdのプロジェクト不変条件。スキルはタスクに合致する時だけロードされるため、20ステップのコンテキストウィンドウを食いつぶさない。

Google Antigravityのビルトインプリミティブ vs カスタムループ

Google Antigravityはこれらのパターンを /grill-me と /goal というコマンドとして組み込んでいる。

  • **/grill-me**:設計制約・不変条件・成功判定テストをインタラクティブに確定するインタビューコマンド。
  • **/goal**:検証とループ実行を伴うマルチターンタスクを走らせるコマンド。

著者は「/goalと/grill-meをペアにすることで、意図のすり合わせと実行の自律性を組み合わせた効果的なペアプログラミングが実現する」と述べている。/grill-meで事前に不変条件を固めてから/goalでループを走らせる、という二段構えが実践上の推奨フローだ。

より深いカスタマイズが必要な場合は、Google Antigravity SDKを使ったPythonループを自前実装する選択肢もある。著者が示す実装は以下を行う。

  • スーパーバイザーセッションの初期化
  • タスクの実行
  • 実テストスイートによる出力検証
  • 失敗時に1回だけターゲットを絞ったリトライ
  • コール数・トークン数の厳格な上限適用

モデルの割り当ても役割ごとに分けている。元記事によれば、オーケストレーションや複雑な修正・コードベース検索・決定論的チェックでそれぞれ異なるモデルやスクリプトを使い分ける構成が示されている。なお、記事中で言及されているモデル固有名称については、元記事に記載の内容をそのまま参照されたい。

背景:なぜ今ループが問われているか

ReActアーキテクチャ(Yao et al., 2022年)がALFWorldでRLベースラインを34%上回ったのを皮切りに、AutoGPT(2023年初頭)が「ハンズオフ自動化」への需要を証明した。コーディングエージェントの普及も加速しており、GitHubの多数のアクティブリポジトリがコーディングエージェントを採用しているという報告が出ている(元記事に統計の詳細が記載されている)。ループの設計は、いまやモデル選定よりも先に議論すべき工学的課題になっている。

逆説的だが、モデルの性能が上がるほどループ設計の重要性は増す。高精度なモデルほど長いチェーンを走らせたくなり、コンテキストブロートや検証ゲートの設計が追いつかなければ成功率の劣化が顕在化するからだ。著者が「ループは銀の弾丸ではなく、工学的な規律を要求する構造だ」と繰り返す理由はここにある。

詳細はHow to Build Durable Agentic Systems with Google Antigravity: From Instructions to Loopsを参照していただきたい。