Mistral AIが普通のカメラ1台でロボット自律移動を実現する「Robostral Navigate」を公開 — LiDARや深度センサーを使う既存手法を性能で上回る

7月14日、MarkTechPostが「Mistral AI Releases Robostral Navigate: An 8B Model Enabling Robots to Navigate Complex Environments Using a Single RGB Camera」と題した記事を公開した。Mistral AIがリリースした「Robostral Navigate」は、LiDARも深度センサーも使わず、普通のRGBカメラ1台だけで、深度センサーや複数カメラを使う既存の最良手法を性能で上回るという、ロボットナビゲーション分野では異例の結果を示した8Bモデルだ。

LiDARも深度センサーも不要、普通のカメラ1台で動く

ロボットナビゲーションの分野では、LiDAR（レーザー距離センサー）や深度カメラを複数組み合わせて使うのが一般的だ。Robostral Navigateはその前提を覆し、普通のRGBカメラ1台だけで複雑な環境を自律移動する。

センサーを減らすことで、システム全体のコストと複雑さを下げられる。ハードウェア構成が単純になれば、車輪型・脚型・飛行型など異なるロボットプラットフォームに同じモデルを展開しやすくなる。

性能面では、R2R-CE（Room-to-Room in Continuous Environments）という標準ベンチマーク（Matterport3Dの3D環境で言語指示に従って移動する評価）で以下のスコアを記録した。

• validation seen（訓練環境と同じ）: 79.4%
• validation unseen（未見環境での汎化性能）: 76.6%

「validation unseen」は、訓練に使っていない環境でどれだけ汎化できるかを測る指標で、実用性を判断する上で重要だ。Robostral Navigateは、単眼カメラアプローチの最良の既存手法を9.7ポイント上回り、深度センサーや複数カメラを使う手法すら4.5ポイント上回っている。

なお、元記事の時点でRobostral NavigateのモデルウェイトやAPIの公開状況（オープンソースか商用提供のみかを含む）については明示されていない。利用可否を確認する場合はMistral AIの公式発表を参照されたい。

移動先を「ピクセル座標で指す」という設計

モデルの意思決定の核心は 「pointing（ポインティング）」 と呼ばれる手法にある。現在のカメラ映像の中で、次に移動すべき目標のピクセル座標を予測し、到着時の向きも合わせて推論する。

この手法の利点は、カメラの内部パラメータ（焦点距離や画角）やスケール変化に対してロバストな点だ。メートル単位の絶対距離を計算するアプローチと異なり、異なるカメラを持つロボット間で同じモデルが使いやすい。

ただし、目標が現在の視野外にある場合はポインティングが使えない。その場合はロボットのローカル座標系における変位量（例：「前方2m、左1.5m、左25度回転」）にフォールバックする。

下記は編集部がこの判断フローの概念を図示した疑似コードであり、元記事に掲載されているものではない。

obs_history = []      # 過去のRGBフレーム
instruction = "Leave the lobby, walk to the second shelf, stop."
done = False
while not done:
    frame = camera.read()          # 単眼RGBカメラ1台
    obs_history.append(frame)
    action = model.predict(instruction, obs_history)
    if action.type == "point":     # 目標が視野内にある場合
        robot.move_to_pixel(action.x, action.y, action.heading)
    else:                          # 目標が視野外の場合
        robot.move_local(action.forward_m, action.left_m, action.turn_deg)
    done = action.stop

訓練期間を「月単位」から「日単位」に短縮した設計

訓練効率の工夫も見どころだ。プレフィックスキャッシング（過去に計算した結果を再利用する手法）に基づくアルゴリズムと、ツリー型のアテンションマスキング戦略を組み合わせることで、1エピソード全体を1シーケンスに圧縮し、全時刻ステップを1回のフォワードパスで訓練できる。この設計により、訓練トークン数を22分の1に削減し、かつ時刻ステップ間の情報リークも防いでいる。結果として、以前は数カ月かかっていた訓練が数日で完了するようになった。

訓練データはシミュレーション環境で生成しており、6,000シーンにまたがる約40万本のトラジェクトリ（軌跡）を使用している。

教師あり学習の後、CISPO（Clipped Importance Sampling Policy Optimization）を適用した。CISPOはオンライン強化学習アルゴリズムの一種で、試行錯誤から学習し、失敗からの回復や探索的な行動を獲得する。このステップ単体で、成功率を3.2ポイント向上させた。

既存のオープンソースVLMをベースにしていない

Robostral Navigateはオープンソースのビジョン言語モデル（VLM）を流用せず、Mistralが社内で構築したグラウンディング向けVLM（ポインティング・カウント・物体定位などのタスクに特化）をベースとしている。「物体がどこにあるかを理解する能力」を土台にし、そこからナビゲーション能力を伸ばすという構成だ。

主要な仕様・性能をまとめると以下の通りだ。

詳細はMistral AI Releases Robostral Navigate: An 8B Model Enabling Robots to Navigate Complex Environments Using a Single RGB Cameraを参照していただきたい。