powered by TechFeed
表示モード
Deep Dive

AIがAIの推論を自律最適化する時代へ — $92のGPU実験でレイテンシ62%削減を達成したOSSツール「alpha_inference」

11月17日、Google Cloudのエンジニアリングブログ寄稿者であるAmir Davidoffが「alpha_inference: Autonomous AI Inference Optimization with Google Cloud AlphaEvolve」と題した記事を公開した。Google Cloud AlphaEvolveとGemini 4 Argon(APIモデル名:gemini-4-argon)を組み合わせてvLLMやGPUカーネルを自律的に最適化するOSSツール「alpha_inference」について詳しく紹介されている。

11月17日、Google Cloudのエンジニアリングブログ寄稿者であるAmir Davidoffが「alpha_inference: Autonomous AI Inference Optimization with Google Cloud AlphaEvolve」と題した記事を公開した。Google Cloud AlphaEvolveとGemini 4 Argon(APIモデル名:gemini-4-argon)を組み合わせてvLLMやGPUカーネルを自律的に最適化するOSSツール「alpha_inference」について詳しく紹介されている。


LLM推論チューニングの根本的な問題

LLM推論の最適化は「GPU × モデルアーキテクチャ × ワークロード」という3次元の問題だ。新しいGPU世代やモデルが出るたびにカーネルとサービング設定を手動で再チューニングする作業が発生するが、vLLMコミュニティが積み重ねてきた膨大なチューニング努力でさえ、実際のワークロード固有の特性——プロンプト長、プレフィックスキャッシュのヒット率、出力スキーマ、トラフィックのバースト——は一切考慮されていない。

記事によれば、2026年に入ってvLLMリポジトリのチップ関連コミットは2倍超、モデル関連コミットは3倍に達したが、ユーザーのワークロードデータを考慮したコミットはゼロだという。

この問題を解決するアプローチとして、著者のAmir Davidoffが公開したのがalpha_inferenceだ。


alpha_inferenceの仕組み

Google Cloud AlphaEvolveは、Geminiを使って「コードを変異させ、各候補をライブ評価し、良い結果を世代を超えて積み上げていく」進化的コーディングエージェントだ。alpha_inferenceはこのAlphaEvolveに、vLLMフラグ・量子化設定・CUDAグラフ・Triton GPUカーネルを変異対象として与え、リアルタイムのレイテンシ・スループット・GPU CUDAカーネルプロファイルをフィードバックとして受け取りながら、Vertex AI GPU Endpoint上で各候補を実際に評価していく。最適化の実行エンジンとして使われるのがGemini 4 Argon(APIモデル名:gemini-4-argon)であり、AlphaEvolveのループ内でコード変異と評価の判断を担う。

AlphaEvolve(コードサンプル):進化的アルゴリズムとLLMを組み合わせたGoogle Cloudのコード最適化エージェント。DeepMindのAlphaCodeの流れを汲む。

品質劣化の防止も二重に担保されている。

  1. 静的バリデーター(validate_candidate_spec):モデルの改ざん、安全でないimport、無効なTritonタイルシェイプをGPUに触れる前にブロック。
  2. トークンlogprob KLダイバージェンスゲート:80件のゴールデンセットで元のBF16ベースラインとトップlogprobトークン分布を比較し、KL乖離が1%を超えた候補は即座にリジェクト。

評価コストを抑える設計上の工夫も重要だ。302候補の評価のたびにGPU VMを新規プロビジョニングしたり52GBの重みを再ダウンロードしたりせず、コンテナ内のホットリロードスーパーバイザーが重みをRAM(/dev/shm)にキャッシュしたままvLLMを再起動する。これにより評価サイクルあたりのオーバーヘッドを大幅に削減している。


実測結果:約92ドルで何が起きたか

デモワークロードはNVIDIA RTX PRO 6000 GPU上に構築。Gemma 4 26B A4B IT(Gemma 4 26B A4B ITはHugging Face等で公開されているオープンウェイトモデルの名称であり、Vertex AI上でのサービング対象モデルとして使用された)を使い、企業メールを読んで約115トークンのJSON形式でトリアージ判定を出力するタスクだ。なお、AlphaEvolveの最適化ループを駆動するモデルはGemini 4 Argon(gemini-4-argon)であり、両者は役割の異なる別のモデルである。トラフィックには人工的なキャッシュヒットを排除するため、98,267件の100%ユニークなメール(ゼロ重複)を使用した。

AlphaEvolveは302回のライブGPU評価を実施し、11回のレコード更新を経て最適解(候補#238)を発見。コスト内訳は:

  • GPUエンドポイント時間:**$78**
  • Gemini 4 Argon(gemini-4-argon)トークン:**$14**
  • 合計:約$92

ホールドアウト検証(火曜9時からの30分間ラッシュ、19,800件の未見ユニークメール)の結果:

指標 最適化前 最適化後 改善率
P50レイテンシ(中央値) 9.11s 3.42s 62.5%削減
平均レイテンシ 8.82s 3.54s 59.9%削減
持続スループット 25.16 req/s 40.76 req/s 62.0%向上
月曜ピーク時P99レイテンシ 8,943ms 3,736ms 58.2%削減
完全トークン一致率 — 99.54% ほぼ無損失

評価の独自性として特筆に値するのが、1:1リアルタイム再生だ。週次リクエストを人工的な負荷に圧縮するとキューイングの物理特性が歪むため、実際の本番到着タイムスタンプをそのまま再生するMLPerf Serverの手法を採用している。


自分のエンドポイントで動かす方法

既存のVertex AI GPU Endpointがあれば、3ステップのCLIで動かせる。

# 1. vLLMフラグ・量子化・CUDAグラフ・Tritonカーネルを進化的に最適化
python optimize.py --vertex-endpoint-id $VERTEX_ENDPOINT_ID \
  --trace examples/custom_openai_chat/sample_trace.jsonl \
  --metric p99_latency --max-programs 100 --out-dir results/my_workload

# 2. 未見の本番ウィンドウで前後を並べて検証
python validate.py --trace examples/custom_openai_chat/sample_trace.jsonl \
  --deploy-vertex --auto-teardown --out-dir results/my_workload

# 3. 差分を確認してgcloudスクリプトでロールアウト
python optimize.py --diff --out-dir results/my_workload
bash results/my_workload/gcloud_rollout.sh

AIコーディングエージェント経由でも使える。.agents/skills/alpha-inference/SKILL.mdを読み込ませると、ワークロード最適化のセットアップを自動で進めてくれる。

なお、このコードはデモ目的の「現状のまま(as-is)」提供であり、Googleの製品・サービスではない点は留意が必要だ。

詳細はalpha_inference: Autonomous AI Inference Optimization with Google Cloud AlphaEvolveを参照していただきたい。