6月27日、Google Researchが「Accelerating Gemini Nano models on Pixel with frozen Multi-Token Prediction」と題した記事を公開した。モデルを一切再学習させずにGemini Nano v3の推論を高速化する「frozen Multi-Token Prediction（MTP）」アーキテクチャの詳細が明かされており、すでにPixel 9・10シリーズへの展開が始まっている。
なぜモバイルでのLLM推論は遅いのか
スマートフォン上でLLMを動かす際の本質的なボトルネックは、自己回帰（autoregressive）生成にある。標準的な言語モデルは1トークンずつ逐次的に出力するため、デバイスの処理能力を十分に使い切れず、メモリ帯域幅（memory bandwidth）を圧迫する。メモリ帯域幅とは、プロセッサとRAM間でデータをやり取りする速度のことで、モバイルデバイスではこれが特に厳しい制約となる。
加えてモバイル環境には、サーバー環境と比べて根本的に異なる2つの制約がある。
- エネルギー予算の厳しさ：バッテリー駆動のため、消費電力を最小化しなければならない
- RAMの上限：搭載メモリが限られており、大きなモデルを複数同時に保持できない
この制約の中で「Pixel上のAI通知サマリー」や「Proofread（文章校正）」といった機能を実用的な速度で動かすことが、今回の技術課題の出発点だ。
frozen MTP：既存モデルを「凍結」したまま高速化する
Googleが今回発表したアプローチの核心は、既存のGemini Nano v3モデルのパラメータを一切変更（fine-tune）せずに、Multi-Token Prediction（MTP）を後付けする点にある。「frozen」という名称はここから来ている。
MTPとは、1ステップで複数のトークンを予測・出力する手法の総称だ。今回のアーキテクチャは、先行研究であるEAGLEフレームワークの「軽量なドラフトヘッドで次トークン候補を先読みし、メインモデルで一括検証する」という設計思想を継承している。またGoogleが以前提案したCALM（Confident Adaptive Language Modeling）は、モデルの中間層出力の確信度に応じて残りの計算をスキップするという別軸のアプローチだが、「推論ステップを削減して高速化する」という問題意識はfrozen MTPと共通している。今回のアーキテクチャはこれらを土台としつつ、モバイル環境に特化した設計を加えている。
具体的には、凍結されたメインモデルの上にdraft head（ドラフトヘッド）と呼ばれる軽量な追加レイヤーを載せる構成をとる。このdraft headがトークン候補を先読みし、メインモデルが検証・採択するという流れで動作する。追加されるのはこのdraft headのみであり、メインモデル本体には手を加えない。
元記事によれば、この構成によりテキスト生成のスループットが最大2倍以上向上するとされている。また、消費電力の削減効果も確認されており、バッテリー駆動のモバイルデバイスにとって実用上重要な改善となっている。
従来のMTP実装では、高速化のためにドラフティングモデル（drafting model）と呼ばれる別の小型モデルを用意し、メインモデルと並行して動かすアプローチが一般的だった。しかしこの方法には問題がある。タスクごとに別々のドラフティングモデルをfine-tuneして保持する必要があり、メモリを余計に消費する。RAMが制約となるモバイルでは、これが大きな障壁になる。
frozen MTPはこの問題を回避する。メインモデルを凍結したまま、draft headというコンパクトなコンポーネントだけを追加することで、タスク共通の高速化を実現する。開発者にとっては、タスクごとにモデルをfine-tuneする必要がなくなるという実用上の大きなメリットがある。
Pixel 9・10シリーズへの展開
この技術はすでにPixel 9シリーズおよびPixel 10シリーズへのロールアウトが開始されている。ただし展開は段階的に進められており、地域やデバイスの状態によってはまだ適用されていない場合がある。ユーザーが体感できる変化としては、AI通知サマリーやProofread機能でのテキスト生成速度の向上と、消費電力の削減が挙げられる。
なお、Googleは今年、サーバーサイドのGemma 4でもMTPを採用しており、開発者向けに公開している。今回のPixel向けfrozen MTPはそれとは別に、エッジデバイスという極端な制約環境に特化して設計されたものだ。
開発者への示唆
エッジAI開発において、今回のアプローチが示す方向性は明確だ。
- モデルの凍結：既存モデルを再学習なしに流用できるため、開発・展開コストが下がる
- タスク非依存の高速化：ドラフティングモデルをタスクごとに用意しなくてよい
- メモリ効率の維持：追加コンポーネント（draft head）を最小限に抑え、RAMの制約に対応
モバイルでのLLM推論高速化は、speculative decoding（投機的デコーディング）をはじめとする複数の手法が競合する活発な研究領域だ。frozen MTPはその中で、「既存モデルへの最小限の侵襲でfrozen状態のまま高速化する」という実装上の現実解を提示している。
詳細はAccelerating Gemini Nano models on Pixel with frozen Multi-Token Predictionを参照していただきたい。
