6月22日、Tom Smithが「NVIDIA Research Bets on Code, Not Tool Calls, to Fix AI Spatial Reasoning」と題した記事を公開した。この記事では、NVIDIAの研究チームが公開したオープンソースフレームワーク「SpatialClaw」が、ツールコールではなくコード実行を推論インターフェースとして使うことでAIの空間推論精度を11.2ポイント向上させたことについて紹介されている。注目すべきは、この性能向上がモデルの再学習なしに——そして260億〜3970億パラメータの6種類のVLMバックエンドすべてで一貫して再現されたという点だ。
ツールコールの限界を「コード実行」で突破する
VLM（Vision-Language Model）は「何が映っているか」の記述は得意だが、「どこにあるか」「どれくらい離れているか」「どちらを向いているか」といった空間的な推論になると精度が落ちる。これはコンピュータビジョン分野の長年の課題だ。
多くの空間推論エージェントは現在、2つのアプローチのいずれかを取る。一つは、結果を見る前に1回のコード実行で戦略を確定させる方式。もう一つは、固定されたツールコールのセットを呼び出す方式で、操作の組み合わせに柔軟性がない。
NVIDIAのSpatialClawはその両方と異なるアプローチを取る。コードそのものをアクション・インターフェースとして扱い、VLMバックエンドのエージェントがPythonコードを「1セルずつ」書き、出力を確認しながら次のステップを決める——要するに、Jupyter Notebookで作業するデータサイエンティストの思考プロセスをそのまま模倣する設計だ。
カーネルには以下のツールがあらかじめロードされている（各ツール名は元記事の表記をそのまま引用している）：
- SAM3（セグメンテーション用）
- Depth-Anything-3（3D再構成用）
- NumPy、SciPy、Matplotlibといった標準的な科学計算ライブラリ
エージェントは1セルを実行するたびに出力を受け取り、前のステップで得た証拠を積み上げながら分析を修正できる。固定されたツールメニューに縛られないこの構造が、SpatialClawの中核をなす。
ベンチマーク結果：11.2ポイント向上、6種類のモデルで一貫
NVIDIAは20の空間推論ベンチマークでSpatialClawを評価し、平均精度59.9%を報告した。これは元記事が比較対象として言及する既存の空間エージェント手法を11.2ポイント上回る数字だ。
特筆すべきは汎化性能だ。同一のシステムプロンプト、ツールセット、ハイパーパラメータのまま、パラメータ数260億〜3970億の6種類のVLMバックエンドすべてで性能向上を確認している。評価カテゴリは単一画像・多視点・汎用・動画・4D理解（3次元空間に時間軸を加えた時空間的な認識を指す）の5領域にまたがる。
特定のモデルやデータセットに合わせて手チューニングしなければ再現できないフレームワークは、本番環境では使い物にならない。その意味で、このモデルサイズを問わない一貫性は、精度の数字そのものより重要な評価ポイントだ。
「再学習不要」がエンジニアチームに刺さる理由
SpatialClawはトレーニングフリーのフレームワークである。つまり、既存のモデルの上にそのまま乗せられる設計だ。モデルの再構築を必要とするアプローチと比べ、本番導入までの障壁が低い。
The Futurum GroupのVPであるMitch Ashleyはこう述べている。
「エージェントの推論がどこで行われるかは、背後のモデルと同じくらい重要だ。ここで得られた性能向上は、知覚ツールをコードで組み合わせ、各ステップを前のステップの出力に条件づけることで実現している。アクション・インターフェース自体が空間推論の主要なレバーになっている」
さらにAshleyはこう加えている。
「物理世界や視覚世界に作用するエージェントを構築するチームにとって、ケイパビリティはモデルの特性として待つものではなく、アーキテクチャ上の意思決定として自分たちが持つものになる」
プロジェクトはGitHubのNVlabsアカウントで公開されており、標準的な空間推論データセット上での実行や、vLLM経由のセルフホストモデルへの接続手順も整備されている。
詳細はNVIDIA Research Bets on Code, Not Tool Calls, to Fix AI Spatial Reasoningを参照していただきたい。
