10月20日、SiliconAngleが「DeepSeek open-sources DeepInfer, the inference framework behind its production services」と題した記事を公開した。DeepSeekが自社本番サービスを支える推論フレームワーク「DeepInfer」をApache 2.0ライセンスでオープンソース公開したもので、1日あたり155兆トークンを処理するクラスタの実装詳細が初めて公になった。
1日155兆トークンを捌くフレームワークの中身が公開
DeepSeekは本番サービスの「大規模ユーザー基盤に対してリーズナブルな価格でモデルを提供すること」を推論フレームワークが解くべきコアな問題と位置付けており、DeepInferを使う1クラスタが現在1日あたり155兆トークンを処理している。オフピーク時は需要が低いためGPUの稼働率が下がるが、それでもGPUあたり時間38ドルの収益が出る計算だという。オフピーク時でもこの水準の収益が確保できることは、価格競争力と稼働効率を両立していることの裏付けとして提示されている。
コードと合わせて公開されたデプロイメントQ&Aに、こうした数字の根拠が記されている。
Speculative Decodingで4〜7%のスループット向上
DeepInferで最も興味深い実装の一つが、DSparkと呼ばれるSpeculative Decoding（投機的デコード）の仕組みだ。
Speculative Decodingとは、小さなドラフトモデルが先にトークンを予測し、メインモデルがそれを検証することでデコードを高速化する手法。通常の実装ではドラフトトークンをすべて検証するが、DeepInferはここに工夫を加えている。
- ドラフトモデルが一度に5トークンを提案
- 「confidence head（信頼度予測ヘッド）」がメインモデルに受け入れられる可能性の高いトークンを予測
- 検証計算は可能性の高い候補にのみ集中
この結果、1ステップあたりのドラフトトークン検証数を約30%削減し、本番負荷において4〜7%のスループット向上を確認したとDeepSeekは述べている。
もう一つの最適化として、プロンプトのprefill（初期処理）計算をほぼ半減させる手法も実装されている。各プロンプトの末尾128トークンのみをデコーダ層に再度通す仕組みだという。
対応ハードウェアと現時点の制約
対応しているのは以下のハードウェアだ：
- Nvidia SM100 Blackwell GPU
- Huawei Ascend 950 NPU
一方、Nvidia HopperをはじめとするBlackwell以前のアーキテクチャは対応リストに入っていない。また、出力の再現性を保証する機能はNvidiaハードウェア専用で、公表されているパフォーマンスベンチマークもすべてNvidiaチップ上で計測されたものだ。
現時点でサポートするモデルはDeepSeek-V3系の最新バージョンのみに限定されており、デフォルトでは先週末にリリースされた最新スナップショットが読み込まれる構成となっている（モデル名・バージョン番号の詳細は公式READMEにて最新情報を確認されたい）。
未公開のまま残った部分
KVキャッシュ管理とロードバランシングのコードは、内部インフラと密結合しているとして今回の公開対象から外れた。仕組みの解説はZhihuへの投稿で確認できる。
Prefillとデコードを別マシンに分離するPD分離構成についても、READMEには「エンジン側の実装はほぼ完了している」とあるものの、実際の運用はオペレーター側に委ねられている。DeepSeekが効率的と説明する最小構成は、Prefillに64GPU、デコードに64GPUの計128GPUだ。
実はDeepSeekは2025年4月にも推論エンジンの公開を試みたが、当時は内部インフラとの密結合を理由に断念。今回のDeepInferはvLLMを起点にして開発されたことがREADMEに明記されており、これまでに個別公開してきたFlashMLA、DeepGEMM、DeepEPといったカーネルライブラリを内部で利用している。
なお、DeepInferの公開はアメリカ国土安全保障省（DHS）が連邦民間機関に対してDeepSeek製品の削除を命じた翌日という時期に重なっている。DHSの命令はDeepSeekが中国企業であることを理由にセキュリティリスクを問題視したものであり、そのタイミングでコアインフラのソースコードを公開したことは、技術的透明性を示す対外メッセージとしての側面もあるとみられる。
今後の展開
DeepInferと合わせて、APIと同じロジックでリクエストをトークン列に変換するdeepseek-recipeライブラリも公開された。DeepSeekは将来モデルの推論コードも同じリポジトリに追加していくとしている。
Huawei Ascend対応については、9月30日にDeepSeekがHuawei協力のもとカーネルプログラミング言語TileLangをAscendチップに対応させたことの延長線上にある。Bloombergの報道によれば、DeepSeekは内モンゴルの新データセンターにAscend 950DTアクセラレータを16万基以上導入する計画を持つとされている。
詳細はDeepSeek open-sources DeepInfer, the inference framework behind its production servicesを参照していただきたい。
