7月17日、Collabnixが「Run Gemma 4 up to 90% Faster with Multi-Token Prediction: A Step-by-Step Ollama Tutorial」と題した記事を公開した。この記事では、OllamaのMulti-Token Prediction（MTP）機能を使ってApple Silicon Mac上でGemma 4の推論速度を大幅に向上させる手順が紹介されている。
MTPとは何か——Speculative Decodingの派生手法
Multi-Token Prediction（MTP）は、LLM高速化の主流アプローチであるSpeculative Decodingの派生手法だ。Speculative Decodingは「小さなドラフトモデルが複数トークンを先読みし、大きなモデルが一括検証する」という構造を持ち、Googleが2023〜2024年にかけて論文および実装で詳細を公開している。MTPはその発展形として、ドラフトモデルをベースモデルの一部として統合し、別途モデルを用意するコストを削減した点が特徴だ。
Gemma 4はリリース時点でこのドラフトヘッドを内包しており、対応推論エンジンがあれば即座にMTPの恩恵を受けられる。今回のOllama 0.31はその対応エンジンとして位置づけられる。将来的にはGemma 4以外のMTPドラフトヘッド搭載モデルへの展開も期待されるが、現時点でのOllamaにおける対応範囲は元記事を確認されたい。
なぜコード生成で特に効くのか
高速化の恩恵が最も大きいのがコード生成だ。ループ構文、型定義、関数のボイラープレートといった構文的に規則性の高いパターンはドラフトモデルが高確率で言い当てられるため、MTPの加速効果が最大限に発揮される。出力品質は変わらず、速度だけが上がる。
元記事では最大90%の高速化が言及されているが、実際の改善幅はチップの世代、モデルサイズ、コードベースのパターンの規則性によって大きく異なる。この数値はあくまで好条件下での上限値として参照されたい。
また、MTPの高速化は現時点でApple Silicon（M1以降）専用である。AppleのMLXフレームワークに依存しているためで、WindowsやLinuxでもGemma 4自体は動作するが、この記事で紹介するMLX固有の高速化は得られない。
セットアップ手順（全7ステップ）
Step 1: ハードウェアとOS要件の確認
M1チップ以降のMacと、最新のmacOSであることを確認する。
Step 2: Ollama 0.31以降をインストール
Ollamaの公式サイトから最新のmacOSビルドをダウンロードしてインストールする。既存のインストールがある場合は自動アップデートを待つか、最新パッケージを再インストールする。バージョン確認は以下のコマンドで行う。
ollama --version
0.31未満であれば先にアップデートを完了させること。 MTPエンジンはこのリリース以降にしか含まれていない。
Step 3: MLX最適化版Gemma 4モデルをpull
MTPの恩恵を受けるには、通常のGGUF版ではなくMLX版を明示的にpullする必要がある。
ollama pull gemma4:12b-mlx
重要： MTPサポートが追加される前にこのモデルをpull済みの場合でも、再pullが必要だ。マルチトークン予測に必要なウェイトは更新後のモデルアーティファクトにのみ含まれており、古いローカルコピーは自動的には更新されない。
※なお、gemma4:12b-mlxというモデルタグおよび後述のコマンド構文は元記事に基づいて掲載している。Ollama公式レジストリ上での正確なタグ名や利用可能なバージョンは時期によって変動する可能性があるため、本稿執筆時点での最新情報はOllama公式ライブラリおよび元記事を参照されたい。
Step 4: コーディングエージェントを起動
元記事ではollama launchコマンドを使ってコーディングエージェントとして起動する手順が紹介されている。例えばClaude Codeをバックエンドとして使う場合は以下のとおりだ。
ollama launch claude --model gemma4:12b-mlx
claudeの部分を差し替えることで、Codex、Droid、OpenCode、Copilotといった他の対応エージェントでも同じパターンが使えるとされている。
※ただし、ollama launchという構文は2025年7月時点のOllama公式CLIリファレンスには見当たらない。元記事がサードパーティのラッパーや特定の拡張CLIを前提としている可能性があるため、動作しない場合は元記事のコメント欄やOllama公式DiscordのGitHub Issuesで最新情報を確認することを推奨する。
Step 5: MTPが有効かを確認し、速度向上を体感する
エージェントが起動したら、小さな関数の実装やリファクタリング、バグ修正といった通常のコーディングタスクを依頼してみる。特に長く、構文的に規則性の高いコードを生成するときに速度の向上が体感できるはずだ。
特別な設定は不要で、MTPは条件が整えば自動的に有効になる。 Ollamaのエンジンはリアルタイムのトークン承認率をもとに投機的ドラフト数を動的に調整する。ドラフトモデルの予測精度が下がった場合は、通常の1トークン逐次デコードに自動的にフォールバックするため、非MTP時より遅くなることはない。
Step 6: 内部の仕組みを理解する
高速化は3つの要素が連携することで実現している。
- ドラフトモデル：Gemma 4にバンドルされた小型モデルが複数の後続トークンを一括提案する
- バッチ検証：フルサイズのGemma 4モデルがトークン列を1パスでまとめて検証する
- カスタムmatmulカーネル：ウェイトの冗長な読み込みを避けることで、バッチ検証ステップ自体を高速化する
Step 7: 自分でベンチマークを取る
自分のマシンで効果を数値化したい場合は、Ollama 0.31以降であることを確認したうえで、固定のコーディングタスクをgemma4:12b-mlxで実行し、かかった時間を計測する。実際の改善幅はチップの世代、モデルサイズ、コードベースのパターンの規則性によって大きく異なる。
トラブルシューティング
速度向上が体感できない場合は以下の3点を確認する。
ollama --versionが0.31以上を報告しているか- アップデート後に
gemma4:12b-mlxを再pullしたか - 通常のGGUF版ではなくMLXタグ付きモデルを呼び出しているか
詳細はRun Gemma 4 up to 90% Faster with Multi-Token Prediction: A Step-by-Step Ollama Tutorialを参照していただきたい。
