8月7日、ARC Prizeが「DeepSeek V4 Flash 0731」と題した記事を公開した。DeepSeekの新モデル「V4 Flash 0731」がARC-AGIベンチマークで記録したスコアと、そのコスト効率についての公式検証結果だ。
ARC-AGI-2で人間の平均スコアに迫る61.4%を出しながら、タスク単価が**$0.04**。ARC Prize公式リーダーボードで同スコア帯に位置するモデルの多くが高い推論コストを要求する中、DeepSeek V4 Flash 0731はその前提を崩す数字を出してきた。「高精度か低コストか」というトレードオフが常識だったARC-AGI-2の世界で、この結果はどう読むべきか。
ARC-AGI-2とは何か
ARC-AGIは、Googleの元エンジニアでKerasの作者としても知られるFrançois Chollet（フランソワ・ショレ）が考案した知能評価ベンチマークだ。図形パターンの規則を見つけ、未知の問題に適用する能力を測る設計になっており、事前学習データへの過学習が通用しないよう工夫されている。LLMの真の汎化能力を測る指標として、AI研究コミュニティで広く参照されている。
ARC-AGI-2はその第2世代で、2025年に公開された。難易度は第1世代から大幅に引き上げられており、ARC-AGI-1でトップスコアを記録していたモデルでも、ARC-AGI-2では大幅にスコアを落とすケースが続出した。人間の平均スコアが約60%台とされるこのベンチマークで、AIモデルが人間水準に近づけるかどうかが継続的な注目点となっている。
3バリアントの検証済みスコア
今回の評価はARC Prizeによって検証（Verified）されており、推論にかける計算リソース量で異なる3つのバリアントが用意されている。
| バリアント | ARC-AGI-1 Semi-Private | ARC-AGI-2 Semi-Private | ARC-AGI-2タスク単価 |
|---|---|---|---|
| Max | 89.0% | 61.4% | $0.04 |
| High | 87.0% | 56.0% | — |
| Low | 84.0% | 46.0% | — |
ARC-AGI-1 Semi-PrivateではMaxバリアントでタスク単価$0.02という結果も記録されている。Lowバリアントでもコストを抑えながらARC-AGI-1で84.0%、ARC-AGI-2で46.0%を維持しており、用途に応じたコスト・精度のトレードオフを選べる構成だ。評価はARC-AGI-2 Public Eval（120タスク）およびARC-AGI-1 Public Eval（400タスク）で実施された。
リーダーボード上の位置づけとしては、AnthropicのClaude Opus 5とGoogleのGemini 3.5 Flash-Liteの間に入る形となっている。
コスト効率をどう読むか
ARC-AGI-2で高スコアを出すには、通常、多数の推論ステップや大規模なサンプリングが必要になる。そのためコストは高くなりがちで、精度とコストのトレードオフはモデル評価における重要な軸だ。
DeepSeekは中国の深圳に拠点を置くAI企業で、2024年末から2025年にかけてオープンウェイトモデルの高いコスト効率で国際的な注目を集めてきた。特にDeepSeek R1シリーズは、西側の主要モデルと競合するスコアを大幅に低い推論コストで実現したことで話題を呼んだ。「Flash」という名称はその延長線上にある軽量・高速志向のモデルラインを示唆しており、V4という世代表記は同社モデルシリーズの中での位置づけを示すものだ。
今回の3バリアント構成は、「最大性能で使う」「コストを抑えて使う」という選択肢を明示的に提示しており、実運用での導入コスト設計を意識した作りといえる。ARC-AGI-2という難易度の高いベンチマークで人間水準に近い60%超えを達成しながらタスク単価$0.04を実現している点は、同スコア帯のモデルとの比較において実用的な評価材料になり得る。
詳細はDeepSeek V4 Flash 0731を参照していただきたい。
