powered by TechFeed
表示モード
Deep Dive

GPT-5.6 Solの物体検出スコアが前世代から3倍超に — ただしコストとレイテンシではGemini 3.5 Flashが依然優勢

7月16日、Roboflowが「GPT 5.6 Sol is the best "vision" model OpenAI ever released」と題した記事を公開した。OpenAIが新たにリリースしたGPT-5.6ファミリー(Sol・Terra・Luna)のビジョン性能を独自ベンチマークで多角的に評価した結果で、物体検出スコアが前世代から約3.3倍に跳ね上がった一方、コストとレイテンシではGemini 3.5 Flashが依然として優位に立つという構図が浮かび上がった。

7月16日、Roboflowが「GPT 5.6 Sol is the best "vision" model OpenAI ever released」と題した記事を公開した。OpenAIが新たにリリースしたGPT-5.6ファミリー(Sol・Terra・Luna)のビジョン性能を独自ベンチマークで多角的に評価した結果で、物体検出スコアが前世代から約3.3倍に跳ね上がった一方、コストとレイテンシではGemini 3.5 Flashが依然として優位に立つという構図が浮かび上がった。


検出スコアが3倍超:GPT-5.5との差が最も鮮明なのがObject Detection

Roboflowは、物体検出・カウント・OCR・データ抽出を含む独自のVLMベンチマークを用いてGPT-5.6を評価した。

最も顕著な改善が物体検出だ。GPT-5.5はmAP@50(IoU閾値50%での平均適合率。物体検出モデルの精度評価に広く使われる指標)で13.8にとどまっていたが、Solは46.2、Terraは44.7、Lunaは43.3を記録した。わずか1世代でスコアが約3.3倍になった計算だ。

ドキュメントレイアウト検出は特に強く、タイトル・段落・表・画像・署名欄を適切に識別できた。薬の錠剤や卵のような「密集した類似オブジェクト」が多数並ぶシーンも処理できている。VLMは座標をテキストとして出力する仕組み上、オブジェクト数が増えるほど欠落・重複・座標ミスが発生しやすいが、Solは多くのケースで対応した。

ただし、プロンプトの座標指定形式が精度に直結する点は実装時に注意が必要だ。GPT-5.6モデルは絶対座標のXYXY形式(ピクセル値)を使うのが最良で、Gemini 3.5 Flashで有効なYXYX形式(0〜1000に正規化)は使えない。誤った形式を使うと、ベンチマーク上で約15 mAPポイントの低下が確認された。

また、約2,000×2,000ピクセル以上の画像でSolの検出が不安定になるケースが確認されている。RoboflowがサンプルをOpenAIに共有したところ、チームも同事象を確認。Reasoning Effortを高めると安定するが、トークン消費・レイテンシ・コストが増加する。現実的な対処法は、APIに送る前に画像をリサイズまたはクロップすることだ。


カウントも改善、OCRはほぼ横ばい

オブジェクトカウントでは、GPT-5.5の64.9%からSolが**73.0%**に向上。Terra(67.6%)とLuna(66.2%)も前世代を上回った。「指定ゾーン内の弾痕のみをカウントする」など、ルールの空間的な解釈が必要なケースでも正確に応答できている。一方、ブリスターパック(錠剤シート)の空きスロット・残存錠剤の識別は苦手で、均一なレイアウトと光の反射が影響したとみられる。

OCR・データ抽出については改善はほぼなく、GPT-5.5との差は軽微だ。OCRの類似度スコアはSolが90.7%に対しGPT-5.5が91.2%と、逆にわずかに下がっている。テキスト抽出でも、Sol(82.5%)はGPT-5.5(87.6%)を下回った。タイヤ側面の刻印やホッケー中継のスコアボードなど複雑なシーンには対応できているが、ブリスターパックに印刷された有効期限(小サイズ・縦書き・低コントラスト)の読み取りには失敗している。


コストとレイテンシのトレードオフ

ビジョン性能の向上はトークン消費の増加を伴う。実務での選択に関わる数字を整理する。

モデル 処理時間(1枚あたり) コスト(1枚あたり)
Sol 約10秒 約2.5セント
Terra 約6秒 約1セント
Luna 約5秒強 0.5セント未満
Gemini 3.5 Flash 記事内未記載 約0.8セント

SolはClaude Fable 5に次ぐコスト高のモデルだ。一方、Gemini 3.5 Flashは0.8セント/枚でSolより安く、かつ検出・カウントのベンチマークでSolを上回っている。大量の画像を処理するワークロードではGemini 3.5 Flashが現実的な選択肢になる。

Lunaはレイテンシとコストのバランスが最も良く、GPT-5.5を検出・カウントで上回りながらGemini 3.5 Flashに近い速度を実現している。


元記事のまとめと実装上の留意点

元記事によれば、GPT-5.6 Solは物体検出においてGPT-5.5の弱点を大きく克服した。ただし、コストとレイテンシの面ではGemini 3.5 Flashへの優位性はなく、座標形式の指定・高解像度画像の前処理など、実装時に踏まえるべき注意点もあると指摘されている。Sol・Terra・Lunaの動作はRoboflow PlaygroundでClaude Fable 5やGemini 3.5 Flashと同じタスクで比較できる。

詳細はGPT 5.6 Sol is the best "vision" model OpenAI ever releasedを参照していただきたい。