11月21日、Karl Weinmeisterが「How LLM routing strategies compare」と題した記事を公開した。LLMルーティングにおいて、ルーターのプロンプト設計よりも「決定ポリシー」の選択がコストに40倍以上の差をもたらすという実験結果を中心に、各戦略の比較と実践的な推奨アプローチが詳しく解説されている。
「ルーターのプロンプト」より「決定ルール」がコストを40倍動かす
LLMルーティングとは、リクエストの難易度に応じて安価・高性能のモデルを使い分けることで、コストと品質を両立する手法だ。しかしWeinmeisterが実験で得た最大の知見は、ルーターのプロンプトをどう書くかよりも、スコアをモデル選択に変換する「決定ポリシー」の方が、総コストに40倍以上の影響を与えるという点である。
Weinmeisterは独自のオープンソース検証環境 gemini-decision-router を構築し、テキスト・コード・ドキュメント・画像・音声にまたがる150タスクを評価した。モデルはGemini Flash-LiteからGemini 4 Hydrogen(thinking_levelをminimal〜xhighでスケール)まで5段階のラダーを使用している。公式ベンチマークではなく独自評価スイートによる数値であることに留意が必要だ。なお、Gemini 4 Hydrogenについては執筆時点(2026年11月)の情報であり、モデルの提供状況は変更される可能性がある。
ルーターの構造:シグナルとポリシーを分けて考える
記事の核心的な視点は、ルーターを「シグナル」と「ポリシー」の2層に分離することだ。
- **シグナル
s(x)**:リクエストxのタスク難易度を推定する - **ポリシー
π**:その推定値をもとに、どのモデル(ティア)を選ぶか決定する
RouterBench などの既存ベンチマークはルーターを一体として評価するが、同じ確率モデルを使っていても決定ポリシーが違えば本番環境での挙動は大きく変わる。
各ルーティング戦略の比較
1. 静的メタデータルール(ベースライン)
入力トークン数や添付ファイルの有無といったリクエストのメタ情報だけでルーティングする最もシンプルな手法だ。コストも追加レイテンシもゼロで済む。
ただし「トークン数が多い=難しいタスク」という前提が崩れた瞬間に機能しない。実験では、800トークン超の長いMTG文字起こしがFlash-Liteで問題なく処理できた一方、数行の短いコードバグはFlash-Liteで失敗した。しきい値を下げると今度はほぼ全リクエストがHydrogenに流れてしまう。
2. モデルカスケード
Language Model Cascades、FrugalGPT、AutoMix などで提案されている手法だ。まず安価なモデルで回答を生成し、検証器(ベリファイア)のスコアが低ければ上位モデルにエスカレーションする。
問題はエスカレーション時に安価モデルの生成コストと時間が無駄になる点である。実験では、Flash-Liteが難しい推論タスクで失敗した際、破棄された下書きの平均トークン数は1,000超、p95レイテンシは約20秒に達した(後述のテール・リスクルーティングの約14秒と比較)。
さらに既定のベリファイアしきい値(0.50)では、誤った回答の60%を誤って「正解」と判定した。コードのバグは文章として流暢に見えるため、ベリファイアが騙されやすい。
3. チャットモデルによるアップフロントルーティング
Flash-LiteのようなチャットモデルにStructured Outputsで難易度判定させる手法だ。マルチモーダル対応が容易でカスタム学習不要だが、JSONトークンを自己回帰的に生成するため2秒以上のオーバーヘッドが発生し、ゼロショットではコストの高いティアを選びがちになる。
対してGemini Decisions APIのようなプレフィル専用モデルは、候補ティアの説明文とリクエストを1回のフォワードパスで評価し、デコードループを省略する。実験では中央値レイテンシが約300ミリ秒(Flash-LiteによるJSONデコードの約7分の1)で、全5ティアの確率分布を返した。なお、Gemini Decisions APIの一般公開状況やプレビュー段階については、公式ドキュメントで最新情報を確認していただきたい。
決定ポリシーの比較:argmaxは意外と問題がある
期待効用(Expected Utility)
各ティアの正答確率からコストペナルティを引いてスコア最大のティアを選ぶ手法だ。ただしモデルの自己信頼度スコアは悪名高いほど未校正であり、キャリブレーションなしで使うとHydrogen(medium)を使い続けた場合とほぼ同等のコストになった。Plattスケーリングと等張回帰でキャリブレーションすれば約3分の1削減できるが、ラベル付きデータセットで全ティアを事前評価する必要がある。
argmax
確率が最も高い単一ティアを選ぶ標準的な手法だ。ただしCharles Elkanのコスト感応学習の基礎が示すように、argmaxはすべての誤りに同等のペナルティを課す場合にのみ最適である。
ルーティングでは非対称性がある。1ティア低く選んで回答が壊れる損失 >> 1ティア高く選んで数セント余分にかかる損失だ。Flash-Liteへの確率が0.42で残り0.58が上位ティアに分散しているケースでは、argmaxはFlash-Liteを選んでしまう。
テール・リスクルーティング(推奨スタート地点)
記事が最も推奨するアプローチだ。累積確率 F_t(x) が閾値 θ を超える最初のティアを選ぶ、ニューズベンダーモデルに基づく手法である。
# src/gemini_decision_router/conformal.py より
def select_tier_from_cdf_threshold(
probabilities: dict[str, float],
ordered_tier_ids: Sequence[TierID],
threshold: float,
) -> tuple[TierID, float]:
"""累積確率が閾値に達する最安ティアを選択する"""
if not ordered_tier_ids:
raise ValueError(...)
ラベルなしデータでスタートする場合、**θ = 0.85** が安全な初期値だ。これはそのティアより上位に15%以上の確率質量が残っている間は次のティアへ進み続けることを意味する。上述の「Flash-Liteが0.42」の例では、0.85の閾値はFlash-Lite・Hydrogen(low)・Hydrogen(medium)を通過し、累積確率が0.97に達したHydrogen(high)で停止する。
ラベル付きデータが100件以上あれば、共形リスク制御(Conformal Risk Control)で正式な精度SLAを設定することもできる。
まとめ
| 戦略 | コスト効率 | レイテンシ | 必要データ |
|---|---|---|---|
| 静的メタデータルール | △(トークン長依存) | ◎ | 不要 |
| モデルカスケード | △(エスカレ時に二重課金) | △(p95 ≈ 20秒) | 不要 |
| チャットモデルルーター | △(高ティア偏重) | △(+2秒以上) | 不要 |
| プレフィルモデル+argmax | ○ | ◎(≈300ms) | 不要 |
| プレフィルモデル+期待効用(要キャリブレーション) | ◎ | ◎ | 要ラベルデータ |
| プレフィルモデル+テール・リスク | ○〜◎ | ◎ | 不要(データあれば向上) |
段階的なアプローチとして、ラベルなしで始めるならテール・リスクルーティング(θ=0.85)を起点とし、ラベルデータが蓄積したらキャリブレーション済み期待効用か共形リスク制御へ移行するのが実践的である。
詳細はHow LLM routing strategies compareを参照していただきたい。




