11月17日、Google Cloudのエンジニアリングブログ寄稿者であるAmir Davidoffが「alpha_inference: Autonomous AI Inference Optimization with Google Cloud AlphaEvolve」と題した記事を公開した。Google Cloud AlphaEvolveとGemini 4 Argon(APIモデル名:gemini-4-argon)を組み合わせてvLLMやGPUカーネルを自律的に最適化するOSSツール「alpha_inference」について詳しく紹介されている。
LLM推論チューニングの根本的な問題
LLM推論の最適化は「GPU × モデルアーキテクチャ × ワークロード」という3次元の問題だ。新しいGPU世代やモデルが出るたびにカーネルとサービング設定を手動で再チューニングする作業が発生するが、vLLMコミュニティが積み重ねてきた膨大なチューニング努力でさえ、実際のワークロード固有の特性——プロンプト長、プレフィックスキャッシュのヒット率、出力スキーマ、トラフィックのバースト——は一切考慮されていない。
記事によれば、2026年に入ってvLLMリポジトリのチップ関連コミットは2倍超、モデル関連コミットは3倍に達したが、ユーザーのワークロードデータを考慮したコミットはゼロだという。
この問題を解決するアプローチとして、著者のAmir Davidoffが公開したのがalpha_inferenceだ。
alpha_inferenceの仕組み
Google Cloud AlphaEvolveは、Geminiを使って「コードを変異させ、各候補をライブ評価し、良い結果を世代を超えて積み上げていく」進化的コーディングエージェントだ。alpha_inferenceはこのAlphaEvolveに、vLLMフラグ・量子化設定・CUDAグラフ・Triton GPUカーネルを変異対象として与え、リアルタイムのレイテンシ・スループット・GPU CUDAカーネルプロファイルをフィードバックとして受け取りながら、Vertex AI GPU Endpoint上で各候補を実際に評価していく。最適化の実行エンジンとして使われるのがGemini 4 Argon(APIモデル名:gemini-4-argon)であり、AlphaEvolveのループ内でコード変異と評価の判断を担う。
AlphaEvolve(コードサンプル):進化的アルゴリズムとLLMを組み合わせたGoogle Cloudのコード最適化エージェント。DeepMindのAlphaCodeの流れを汲む。
品質劣化の防止も二重に担保されている。
- 静的バリデーター(
validate_candidate_spec):モデルの改ざん、安全でないimport、無効なTritonタイルシェイプをGPUに触れる前にブロック。 - トークンlogprob KLダイバージェンスゲート:80件のゴールデンセットで元のBF16ベースラインとトップlogprobトークン分布を比較し、KL乖離が1%を超えた候補は即座にリジェクト。
評価コストを抑える設計上の工夫も重要だ。302候補の評価のたびにGPU VMを新規プロビジョニングしたり52GBの重みを再ダウンロードしたりせず、コンテナ内のホットリロードスーパーバイザーが重みをRAM(/dev/shm)にキャッシュしたままvLLMを再起動する。これにより評価サイクルあたりのオーバーヘッドを大幅に削減している。
実測結果:約92ドルで何が起きたか
デモワークロードはNVIDIA RTX PRO 6000 GPU上に構築。Gemma 4 26B A4B IT(Gemma 4 26B A4B ITはHugging Face等で公開されているオープンウェイトモデルの名称であり、Vertex AI上でのサービング対象モデルとして使用された)を使い、企業メールを読んで約115トークンのJSON形式でトリアージ判定を出力するタスクだ。なお、AlphaEvolveの最適化ループを駆動するモデルはGemini 4 Argon(gemini-4-argon)であり、両者は役割の異なる別のモデルである。トラフィックには人工的なキャッシュヒットを排除するため、98,267件の100%ユニークなメール(ゼロ重複)を使用した。
AlphaEvolveは302回のライブGPU評価を実施し、11回のレコード更新を経て最適解(候補#238)を発見。コスト内訳は:
- GPUエンドポイント時間:**$78**
- Gemini 4 Argon(
gemini-4-argon)トークン:**$14** - 合計:約$92
ホールドアウト検証(火曜9時からの30分間ラッシュ、19,800件の未見ユニークメール)の結果:
| 指標 | 最適化前 | 最適化後 | 改善率 |
|---|---|---|---|
| P50レイテンシ(中央値) | 9.11s | 3.42s | 62.5%削減 |
| 平均レイテンシ | 8.82s | 3.54s | 59.9%削減 |
| 持続スループット | 25.16 req/s | 40.76 req/s | 62.0%向上 |
| 月曜ピーク時P99レイテンシ | 8,943ms | 3,736ms | 58.2%削減 |
| 完全トークン一致率 | — | 99.54% | ほぼ無損失 |
評価の独自性として特筆に値するのが、1:1リアルタイム再生だ。週次リクエストを人工的な負荷に圧縮するとキューイングの物理特性が歪むため、実際の本番到着タイムスタンプをそのまま再生するMLPerf Serverの手法を採用している。
自分のエンドポイントで動かす方法
既存のVertex AI GPU Endpointがあれば、3ステップのCLIで動かせる。
# 1. vLLMフラグ・量子化・CUDAグラフ・Tritonカーネルを進化的に最適化
python optimize.py --vertex-endpoint-id $VERTEX_ENDPOINT_ID \
--trace examples/custom_openai_chat/sample_trace.jsonl \
--metric p99_latency --max-programs 100 --out-dir results/my_workload
# 2. 未見の本番ウィンドウで前後を並べて検証
python validate.py --trace examples/custom_openai_chat/sample_trace.jsonl \
--deploy-vertex --auto-teardown --out-dir results/my_workload
# 3. 差分を確認してgcloudスクリプトでロールアウト
python optimize.py --diff --out-dir results/my_workload
bash results/my_workload/gcloud_rollout.sh
AIコーディングエージェント経由でも使える。.agents/skills/alpha-inference/SKILL.mdを読み込ませると、ワークロード最適化のセットアップを自動で進めてくれる。
なお、このコードはデモ目的の「現状のまま(as-is)」提供であり、Googleの製品・サービスではない点は留意が必要だ。
詳細はalpha_inference: Autonomous AI Inference Optimization with Google Cloud AlphaEvolveを参照していただきたい。




