powered by TechFeed
表示モード
Deep Dive

EnvoyがAIエージェント専用プロキシに進化 — トークン単位の流量制御とMCPルーティングで「L7では無理だった問題」を解決

11月19日、Google Cloudが「The Envoy agentic stack: Routing models, tokens, and MCP」と題した記事を公開した。AIエージェント時代において、従来のL7プロキシが「リクエストカウントではトークン消費量を把握できない」「ステートレスなロードバランシングではマルチターン会話の文脈が消える」といった構造的な限界を抱えることは知られていたが、Envoyはこれらをネットワーク層で根本的に解決するアーキテクチャへと進化した。同記事はその全体像——トークン単位の流量制御、KVキャッシュを意識したルーティング、MCPツール呼び出しのインライン検査——を詳述している。

11月19日、Google Cloudが「The Envoy agentic stack: Routing models, tokens, and MCP」と題した記事を公開した。AIエージェント時代において、従来のL7プロキシが「リクエストカウントではトークン消費量を把握できない」「ステートレスなロードバランシングではマルチターン会話の文脈が消える」といった構造的な限界を抱えることは知られていたが、Envoyはこれらをネットワーク層で根本的に解決するアーキテクチャへと進化した。同記事はその全体像——トークン単位の流量制御、KVキャッシュを意識したルーティング、MCPツール呼び出しのインライン検査——を詳述している。


従来のL7プロキシでは対処できない「4つの壁」

Envoyはクラウドネイティブ向けのオープンソース型エッジ/サービスプロキシとして、Google CloudのApplication Load BalancerやGKE上のAIワークロード基盤などを支えてきた実績を持つ。

しかしAIエージェントのワークロードは、従来のL7前提の設計では構造的に対処しきれない。元記事はこれを「Layer 8(LLM APIやMCP、A2AなどのAIエージェント固有プロトコル層)」「Layer 9(マルチターンワークフローを束ねるエージェントフレームワーク層)」という概念で整理している(※元記事の定義による)。その上で、4つの根本的な課題を挙げている。

  1. ペイロードの不可視性(Payload blindness): LLMへのリクエストはほぼすべてが/v1/chat/completionsという同一パスを通る。ヘッダーベースのプロキシでは、低コストなクエリと50万トークンのプロンプトを区別できない。
  2. リクエストレート制限の限界: 1分に1リクエストでも、巨大なコンテキストウィンドウを持つものはGPUリソースを大量消費する。リクエスト数のカウントではトークン消費量を把握できない。
  3. ステートレスなロードバランシング: エージェントのマルチターン会話は、直前のターンを記憶しているサーバーに継続して送る必要がある。ラウンドロビンで別サーバーに振られると、モデルが毎ターン文脈を失いGPUを無駄遣いする。
  4. ツール実行の無統制: エージェントがDBをクエリしたりサンドボックスでコードを実行したりする際、MCPツール呼び出しをインラインで検査しなければ、プロンプトインジェクションやデータ漏洩、課金ループが発生しうる。

Envoyの「Agenticスタック」:4つのコアピラー

これらに対応するため、EnvoyはネットワークをAIトラフィックのアクティブなガバナンス層として機能させる以下の機能群を実装している。

1. ネイティブなボディパーサーとトランスコーディング

HTTPヘッダーだけでなくリクエストボディをライン速度で解析し、OpenAI・Anthropic・Gemini間のスキーマ変換をEnvoy側で行う。

アプリケーションコードは標準スキーマでリクエストを送るだけでよく、外部商用モデルからセルフホスト型OSS(GemmaやLlamaをvLLMで動かすなど)への切り替えもEnvoy設定の変更のみで完結する。SSEストリーミングのリアルタイム解析も行い、Time-to-First-Tokenのレイテンシを最小限に保ちながらトークン数を集計する。

2. トークノミクスエンジン

AIネットワーキングにおける容量の基本単位はトークンだという考え方のもと、Envoyはリクエストカウンターをトークンアウェアな管理機能で置き換える。

  • TPM/TPD制限: テナント・プロジェクト・モデル単位でTokens Per Minute / Tokens Per Dayを強制する。
  • 推論前スロットリング: リクエストのペイロードバイト数から入力トークン数を事前推定し、クォータ超過のリクエストにはHTTP 429を返して推論クラスタに到達させない。
  • ループ暴走防止: エージェントが再帰的な推論ループに入った場合、セッション単位またはエージェントID単位で累積トークン消費量を追跡し、割り当てバジェットを超えた時点でスロットリングする。

3. モデルルーティングとMCP対応

  • KVキャッシュプレフィックスアフィニティ: LLM推論では、同一のシステムプロンプトを持つリクエストをそのKVキャッシュをメモリ上に保持しているGPUワーカーへ転送することで、プレフィックス部分の再計算を省きレイテンシを削減できる。EnvoyはKubernetes向けの推論ルーティング拡張であるKubernetes Gateway API Inference ExtensionsのEndpoint Picker(EPP)と連携することで、このキャッシュアフィニティを実現している。
  • モデルフォールバック: プライマリモデルが429やエラーを返した場合、自動でセカンダリモデルプールへリダイレクトする。クライアント側への影響はゼロだ。
  • MCPツールルーティング: 2026-07-28 MCP仕様に基づき、Mcp-MethodとMcp-Nameヘッダーを使ったゼロボディパース方式でバックエンドへルーティングする。ヘッダーとボディの不一致はHTTP 400 / -32020(HeaderMismatch)エラーとして弾かれ、改ざん防止として機能する。

4. AIセキュリティガードレール

標準的な外部処理インターフェース(ext_proc)経由で、Google CloudのModel Armor、ShieldGemma、またはローカル分類器などのポリシー判定エンジンと接続する。プロンプトインジェクションや機密データ漏洩をインラインで検出しながら、ネットワークスループットへの影響を最小化する設計だ。


Agent Substrateとの連携:スケールゼロ対応

エンタープライズ環境では、エージェントがユーザーのクエリとクエリの間にアイドル状態になる時間が長い。大量のアイドルエージェントを専用コンテナやVMで動かし続けるのはコストが大きい。

Envoyは元記事で言及されているAgent Substrate(Cloud HypervisorやmicroVM、gVisorを用いた軽量分離ランタイム)と連携し、スケールゼロ対応を実現する。サスペンド中のエージェントにトラフィックが届いた際、Envoyは最初のパケットをバッファしながらランタイムに再開シグナルを送り、エンドツーエンドでミリ秒単位での復帰を可能にする。またエグレスゲートウェイとしても機能し、エージェントからの外部ネットワーク呼び出しを検証済みドメインのみに制限する。


試してみるには

コードとサンプル設定はEnvoyプロキシのGitHubリポジトリで確認できる。MCP仕様やトークン管理の標準化については、CNCFおよびKubernetes AI Gateway Working Groupでの議論が進んでいる。

詳細はThe Envoy agentic stack: Routing models, tokens, and MCPを参照していただきたい。