7月30日、The Decoderが「OpenAI claims GPT-5.6 Sol beats Opus 5 on ARC-AGI-3 with its latest API and two additional settings」と題した記事を公開した。OpenAIがGPT-5.6 Solの独自API設定を用いてARC-AGI-3ベンチマークでAnthropicのClaude Opus 5を上回ると主張したものの、その評価手法の公平性に疑問が浮上している。
「38.3% vs 30.2%」——ただし条件が違う
AnthropicのClaude Opus 5がARC-AGI-3ベンチマークのスコアを一気に4倍に引き上げた直後、OpenAIが反論に動いた。
OpenAIの公式発表によれば、GPT-5.6 Solは**38.3%を記録し、Opus 5の30.2%**を上回る。ただし、Opus 5の30.2%はARC Prizeの標準ハーネスで計測されたスコアであるのに対し、GPT-5.6 Solの38.3%はOpenAI独自のResponses APIに2つの設定を加えた条件下で出したものだ。計測環境が異なる数字を並べた比較である点は、読む際に留意が必要だ。
OpenAI独自のハーネス（Retained Reasoning + Compaction）を使った場合と公式ハーネスを使った場合のスコア差。| Image: OpenAI
2つの設定が何を変えたか
OpenAIが追加した設定は以下の2つだ。
- Retained Reasoning：モデルの推論チェーン（chain of thought）をステップ間で保持する。公式ハーネスでは各アクション後に推論が破棄されるため、スコアが大幅に落ちる。
- Compaction：古いコンテキストを切り捨てるのではなく要約して保持する。
これらの設定が効く理由は、ARC-AGI-3の課題構造にある。同ベンチマークはモデルがグリッドパターンの変換ルールを複数ステップにわたって推論・適用する形式を取る。各ステップで推論チェーンが破棄される公式ハーネスでは、モデルは「前のステップで何を考えたか」を参照できず、実質的に毎回ゼロから推論し直すことになる。Retained Reasoningはこの制約を取り除き、推論の連続性を確保する。Compactionも同様の文脈で機能する——マルチステップタスクでは作業ログやコンテキストが膨らみやすく、古い情報を単純に切り捨てると重要な手がかりが失われるが、要約によって保持することで後続ステップの精度が上がる。
この2設定なしの公式ハーネスでは、GPT-5.6 Solのスコアは**わずか7.8%**にとどまる。2つの設定によって、スコアが約5倍に跳ね上がった計算だ。
OpenAIの主張は「ベンチマークはモデル単体ではなく、その周辺の技術的セットアップも含めて評価するものだ」というものだ。確かに筋は通るが、ARC-AGI-3の設計思想はモデル本来の汎用推論能力を測ることにある。特定の環境設定を前提としたスコアが「モデルの能力」を代表するかどうかは、別途議論が必要な問いだ。
ARC Prizeとの「公平性」論争
ARC Prizeは声明で、「公式スコアはプロバイダー固有の設定を排し、標準化されたアプローチを用いている」と反論した。
一方、ARC Prize共同創設者のFrançois Cholletは、より踏み込んだ立場を示した。Cholletはテスト環境を2種類に区別している。
- アウト（許容されない）：そのベンチマークを攻略する目的で特別に設計されたハーネス、またはベンチマーク固有の形式に関する知識（問題パターンや正解傾向）をモデルやシステムに組み込んだもの。要するに「このテストのために作ったカンニングペーパー」にあたる設定は認めない、という基準だ。
- フェア（許容される）：ARC-AGI-3専用に開発されたものではなく、すべてのAPIユーザーが同条件で利用できる汎用的なAPI設定。OpenAIのRetained ReasoningおよびCompactionはこちらに分類される。
Cholletはこの区別に基づき、OpenAIのAPI設定は「フェア」な範囲と認めた。同時に、ARC Prize自身がGPT-5.6 SolをOpenAIにとって不利な条件でテストしていた可能性を事実上認め、「OpenAIとはモデルのテスト方法について、特にCompactionの扱いをめぐって多くのやり取りがあった」と述べた。
異なるプロバイダーが異なる設定を使うことで「パリティ（公平性）の問題が生じうる」としつつも、「設定とコストが明確に報告される限り許容できる」との見解を示した。
何が問題の本質か
今回の論争が示すのは、ベンチマーク競争における「条件の定義」が勝敗を左右するという現実だ。公式ハーネスで7.8%、独自設定で38.3%という差は、モデルの能力よりもインフラ設計の差を反映している部分が大きい。
ARC-AGI-3は「汎用知能に近いか」を測ることを目的としたベンチマークだが、各社がAPIの設定を工夫することで数字を積み上げられるなら、その前提が揺らぐ。Cholletが「設定とコストの明示」を条件として容認した判断は現実的な妥協点だが、今後の評価の透明性をどう担保するかは引き続き課題として残る。
詳細はOpenAI claims GPT-5.6 Sol beats Opus 5 on ARC-AGI-3 with its latest API and two additional settingsを参照していただきたい。
