10月21日、Latent Spaceが「[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback」と題した記事を公開した。DeepSeekが推論エンジン「DeepInfer」をオープンソース化し、1日155兆トークン処理・約80%の推論マージンという生産データとともに公開した件について詳しく紹介されている。
1日155兆トークン、利益率80%超——数字の意味を読む
PyTorch Conf初日のタイミングに合わせ、DeepSeekは自社の本番推論スタック「**DeepInfer**」をオープンソースとして公開した。同社のDeepSeek V3系モデルを本番環境でスケール運用するために使われているエンジンだ。
公開に合わせて開示された生産数値が注目を集めている：
- 1クラスターあたり1日155兆トークン処理
- 入力キャッシュヒット率96%
- 平均TTFT（Time To First Token）400ms
- 生成速度230トークン/秒（コーディング用途では300トークン/秒）
- オフピーク価格でGPU 1枚あたり時間収益$38
この数字をベースに試算すると、1日あたり約$22M（約33億円）の収益、そしてオールインコストが1枚あたり$5〜8/時間に対して収益が$38/時間なので、推論マージンは80%超になる。クラスター単位では1GWあたり約$166Bの収益ポテンシャルで、設備投資回収期間は81日という計算になる（DeepSeek社は通常10ヶ月での回収を計画しているとされる）。
ただし、これらは第三者による検証を経ていない自社申告値である点は押さえておく必要がある。また、「155兆トークン/日」のうち大半はキャッシュヒット分であり、新規に計算されたトークンを155兆生成しているわけではない。96%のキャッシュヒット率がこの数字の前提条件だ。
「完全オープンソース」の実際の範囲
DeepInferはvLLMをベースに構築されており、Apache 2.0ライセンスで公開されている。SGLangおよびTensorRT-LLMへのクレジットも明記されている。
しかし「完全オープンソース」という表現には留保が必要だ。KVキャッシュ管理とロードバランシングのコンポーネントは未公開である。これらは内部インフラと密結合しているためで、同社の競争優位の核心部分——超最適化されたKVキャッシュ（コンパクト形式・8時間超の保持）、Prefill/Decode分離（PD Disaggregation）、ロードバランシング——は今回の公開には含まれていない。なお、分散ファイルシステム「3FS」は以前にオープンソース化済みだ。
vLLMチームはDeepInferの公開後、GB200環境でマッチした構成を使えばDecodeスループットがDeepInferの公表値の6%以内に収まると報告し、再現レシピも公開している。「DeepSeekの効率は既存OSSエンジンでは到達不可能」という主張を実質的に否定した形だ。
アーキテクチャの核心：スケジューリングとキャッシュ設計
DeepInferのアーキテクチャはVision Encoding・Prefill・Decodeの三段階を分離し、それぞれのボトルネックに応じて独立スケールできる設計になっている。
スケジューリングで特徴的な点をまとめる：
- Prefillスケジューリングはリクエスト長ではなく推定Attention計算コストで割り当てる。 チャンクサイズは時間バジェットに合わせて可変。固定チャンクサイズで均一に処理する一般的な実装との差異がここにある。
- Prefillルーティングはキャッシュアフィニティを必要としない。 キャッシュされたプレフィックスは共有ストレージ（3FS）にプールされているため、以前にそのプレフィックスを処理したワーカーでなくても空きワーカーにリクエストを投げられる。Prefillのコンピュートとキャッシュのストレージを独立してスケールできるのはこのためだ。
- Decodeルーティングは処理中リクエスト数とKV長の両方でバランスを取る。 リクエスト数だけではメモリプレッシャーが見えないため、蓄積KV長を補助指標にする。
- 人気Expertのレプリケーション。 MoE（Mixture of Experts）モデルのExpert並列処理では、ルーティング偏りによる待機を減らすために人気Expertを複製し、定期的に再配置する。ただしHBM消費量とのトレードオフがあり、最適レプリケーション係数はワークロード次第。
- CPUスケジューリングとGPU実行の非同期オーバーラップ。 ホスト側のオーケストレーションをDecodeステップの空き時間に実行することでアイドルギャップを排除する。
Blackwell世代の構成においてテンソル並列（Tensor Parallelism）が使われていない点を指摘する声もある。これはDeepSeek V3のH800時代のインターコネクト制約に由来するとの解釈があるが、テンソル並列が一般的に劣るという意味ではない。
100PiB SSDのKVキャッシュ層
本番スループットの鍵となるのが永続ブロックKVキャッシュだ。3FSストレージクラスター上に約100PiBのSSD容量を持ち、保持期間はエージェントトラフィックで3日間、チャットボットトラフィックで7日間に設定されている。
長大なシステムプロンプトや会話履歴を繰り返し送るエージェントワークロードで96%のキャッシュヒット率が実現できる理由がここにある。
実装レベルでは、CUDAコピーエンジン経由の細粒度KVブロックコピーはパフォーマンスが低いため、GDR/RDMA転送を使ってSMを占有せずにPCIe帯域を飽和させる設計になっている。
経済性の前提条件
推論マージン80%超という数字は、96%というキャッシュヒット率が前提であり、ワークロードの性質に大きく依存する。DeepSeekのAPIが現在課金するのは入力$0.15/100万トークン、出力$0.60/100万トークン（オフピーク価格）。この価格設定で$38/GPU・時間の収益を出せるのは、大半のトークンがキャッシュから低コストで返せるからだ。ワークロードミックス、キャッシュ会計の方法、ハードウェアコストの計上範囲によって数値は大きく変わる。
Latent Spaceはブログ記事の翻訳版と、コードマップ・サブシステムガイドを含む技術解説をinf.latent.spaceに公開している。
