6月19日、DeepSeek-AIが「DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence」と題した論文をarXivに公開した。中国発のDeepSeekシリーズは、GPT-4やLlamaシリーズに匹敵する性能をはるかに低い学習コストで実現してきたことで国際的な注目を集めてきた。その最新作となるDeepSeek-V4は、総パラメータ数160兆のMixture-of-Expertsモデルと100万トークン（1Mトークン）のコンテキスト長を組み合わせ、長文処理という実用上の差別化軸でオープンウェイトモデルの新たな基準点を打ち立てようとしている。なお本論文はarXivへの投稿であり、査読前のプレプリントである点には留意が必要だ。記載された数値やアーキテクチャの詳細は、今後の査読・改訂によって変更される可能性がある。
160兆パラメータ、100万トークンコンテキスト
DeepSeek-V4の最大の特徴は、総パラメータ数160兆（160T）のMoE（Mixture-of-Experts）アーキテクチャと、100万トークン（1Mトークン）のコンテキスト長の組み合わせだ。
MoEとは、入力ごとに一部のエキスパートモジュールだけを選択的に活性化するアーキテクチャで、全パラメータを毎回使うDenseモデルと異なり、推論・学習コストを大幅に抑えられる。DeepSeek-V3（前モデル）でも同様のアプローチが採られており、DeepSeek-V4はその延長線上にある。
100万トークンのコンテキスト長は、長大なコードベースや文書群をそのままモデルに渡せる水準であり、RAG（検索拡張生成）を介さず直接処理できる場面が増える。※編集部の考察：GPT-4oの公称コンテキスト長は128Kトークンであり、単純な数値比較では本モデルの100万トークンはその約8倍に相当する。ただし、この比較は編集部によるもので、論文がGPT-4oと直接比較しているわけではない。また、コンテキスト長の実効的な活用度はモデルによって異なるため、数値の差がそのままタスク性能の差を意味するわけではない点に注意されたい。
アーキテクチャの要点
論文で示されているアーキテクチャ上の主な工夫は以下の通りだ。
- MLA（Multi-head Latent Attention）: KVキャッシュを低次元の潜在ベクトルに圧縮し、長コンテキスト時のメモリ消費を抑制する手法。DeepSeek-V3から引き継いだコアコンポーネント。
- DeepSeekMoE: エキスパートの細粒度化と負荷分散を両立するMoE設計。160兆パラメータのうち推論時に活性化されるのはその一部にとどまる。
- 長コンテキスト効率化: 100万トークンへの拡張にあたり、位置エンコーディングや注意機構を段階的に調整するトレーニング戦略が採られている。
ベンチマーク上の位置づけ
論文では、コーディング、数学、推論など複数のベンチマークでの評価結果が示されており、DeepSeek-V4がオープンウェイトモデルの中で最前線水準にあることが報告されている。論文中で特に強調されている結果として、長コンテキストを要するタスクでの性能改善が挙げられており、RULER（長文コンテキスト評価）ベンチマークでは100万トークン域において既存オープンウェイトモデルを上回るスコアを記録したと報告されている。数学・コーディング系の標準ベンチマークについても最前線水準の結果が示されているが、個別スコアの詳細は論文本文を参照されたい。なお本論文は査読前プレプリントであるため、これらの数値は今後変更される可能性がある。
オープンウェイト（重みを公開するモデル）という点も重要だ。クローズドAPIでしか使えないモデルと異なり、研究者や開発者が自前の環境で動かせる。ただし160兆パラメータという規模は、個人やスタートアップが単独でフル推論するには依然として相当のGPUリソースを要する。
学習コストの効率化
DeepSeekシリーズは、GPT-4などと比較して著しく少ないコストで競合水準の性能を達成してきたことで知られている。DeepSeek-V3の段階で、MetaのLlamaシリーズやOpenAIモデルと比較した際の学習コスト効率の高さが広く注目された。V4でも同様の効率化思想が貫かれており、FP8混合精度トレーニングやパイプライン並列化の最適化が継続して採用されている。
まとめ
DeepSeek-V4は、MoEによるパラメータ効率と100万トークンの長コンテキスト対応を両立したオープンウェイトモデルだ。160兆という総パラメータ数は数字として大きいが、MoEの特性上、実際の推論コストはDenseモデルの同規模とは異なる点に注意が必要である。また、arXivへの投稿論文であり査読前プレプリントである以上、記載内容は暫定的なものとして扱うべきだ。LLMの長文処理能力が実用上の差別化要因になりつつある現在、このスケールとコンテキスト長の組み合わせは、研究コミュニティにとって一つの注目すべき指標となるだろう。
詳細はDeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligenceを参照していただきたい。
