動画生成モデルの「流用」をやめてロボット制御用AIをゼロから作ったら — 推論速度6.5倍・制御周波数225Hzを達成したAnt Groupの新アーキテクチャ

7月11日、MarkTechPostが「Ant Group's Robbyant Unveils LingBot-VA 2.0: A Causal Video-Action Model Built Natively for Physical AI」と題した記事を公開した。Ant GroupのロボティクスユニットRobbyantが発表した「LingBot-VA 2.0」は、推論チャンク遅延を927msから142msへ約6.5倍高速化し、非同期制御周波数35Hzから225Hzへ引き上げたロボット操作向け基盤モデルだ。その鍵は、動画生成向けアーキテクチャの「流用」を完全に捨て、物理AIのためだけにCausal DiTをゼロから事前学習したことにある。

「動画生成モデルの流用」からの脱却

近年、物理AI（Physical AI）と呼ばれる、現実世界で動作するロボットや自律エージェント向けの基盤モデル開発が急速に進んでいる。その中で有力なアプローチの一つがVideo-Actionモデル——映像として未来の状態を予測しながら、同時にロボットの動作（アクション）を生成する手法だ。映像予測によって物理的な因果関係を暗黙的に学習できるため、汎化性能が高いとされる。

ところが、このカテゴリの多くのモデルは、デジタルコンテンツ生成向けに設計されたVAE（変分オートエンコーダー）と双方向ビデオ拡散バックボーンを流用し、そこにアクションモジュールを追加するアーキテクチャを採用してきた。この設計には根本的な不整合がある。

• ピクセル再構成向けの潜在表現は外見を保存するが、物理的構造の情報が薄い
• 双方向Attentionはコンテンツ生成には向くが、時間的に前向きに展開するロボット制御とは噛み合わない
• 反復的なデノイジングはリアルタイム制御には遅すぎる

LingBot-VA 1.0はその双方向モデルをCausal（因果的・前向き）に変換することで対処した。2.0はその上位互換ではなく、Causal DiTをゼロから事前学習した点が本質的な違いだ。

アーキテクチャの核心：Sparse MoEビデオストリーム

2.0のバックボーンは1.0のMixture-of-Transformers構造を引き継ぎ、ビデオエキスパートとアクションエキスパートが単一のCausal Self-Attentionを共有する設計だ。

ビデオエキスパート側のFFNは128個のルーティングSwiGLUエキスパート（top-8ルーティング + 1つの共有エキスパート）を持つSparse MoEに置き換えられている。Sparse MoEはトークンごとに一部のエキスパートのみを活性化する構造で、総パラメータ数を増やしながら推論コストを抑えられる点が特徴だ。ロードバランシングには補助ロスを使わないLoss-Free Balancing戦略を採用。アクションエキスパートは隠れ次元768のDense FFNを維持する。

パラメータ規模は以下の通りだ：

• 総パラメータ数：約15.3B
• 推論時のアクティブパラメータ数：約2.5B/トークン（ビデオバックボーン単体では約13.0B中1.9Bがアクティブ）

なお、後述するセマンティック視覚-アクショントークナイザーは、動画生成モデルWANの再構成専用VAEを置き換える形で導入されている。WANはAnt Groupが開発したオープンソースの動画生成基盤モデルであり、LingBot-VAシリーズはその知見を土台としつつも、ロボット制御向けに設計を刷新している。

Foresight Reasoning：予測と実行の非同期化

推論速度のボトルネックを解消する仕組みとして、Foresight Reasoningが導入されている。ロボットがアクションチャンク a_t を実行している間に、ビデオエキスパートがその結果を「想像」し、アクションエキスパートが次のチャンク a_{t+1} をデコードする。

ただし、想像した潜在表現と実際の観測がズレるリスクがある。これを防ぐため、実際の観測が返ってくるたびに、想像した潜在変数 z_hat を真の潜在変数 z_{t+1} で上書きして再グラウンディングする。

# 非同期ロールアウトの疑似コード（論文 Sec. 2.3.7, Eq. 29）
C = init_kv_cache(encode(obs_0))            # フィードバックでグラウンディングされたキャッシュ C_t
a = policy.action_expert(C)                 # コールドスタート：最初のアクションチャンク a_0
while not done:
    executor.start(a)                       # 実行ストリーム（ノンブロッキング）
    C_tmp  = C + [a]                        # 予測ストリーム
    z_hat  = policy.video_expert(C_tmp)     # 順方向ダイナミクス → 想像上の z_{t+1}
    a_next = policy.action_expert(C_tmp + [z_hat])
    obs = executor.wait()                   # a_t の実観測が返る
    C   = overwrite(C_tmp, z_hat, encode(obs))   # 再グラウンディング：z_hat ← 真の z_{t+1}
    a   = a_next

ベンチマーク性能

評価には**RoboTwin 2.0**が使用されている。RoboTwin 2.0はロボット操作タスクのシミュレーションベンチマークで、50タスク・2,500件のクリーンデモと25,000件のランダム化デモを含む、汎化性能の評価に適した構成を持つ。結果は以下の通りだ：

推論速度の最適化積み上げも示されている：

チャンク遅延が927msから142msへ（約6.5倍）、非同期制御周波数が35Hzから225Hzへ改善された。Consistency distillationでビデオサンプラーのステップ数を5→2に、アクションサンプラーを10→2に削減し、FP8 TensorRTエンジンとFlashInfer attentionを組み合わせた成果だ。FlashInferはGPU上のAttention演算を高度に最適化するライブラリで、長いKVキャッシュを扱うロボット制御の推論シナリオと相性が良い。

その他の技術的ポイント

Multi-Chunk Prediction（MCP）は訓練の近視眼的な監督を修正する。通常のTeacher Forcingでは次の1チャンクしか監督しないため、モデルが外見をコピーするだけで損失を下げられてしまう。MCPは次の3チャンクを予測する軽量モジュールを3つ追加し、ベースラインが45,000ステップで達する精度を20,000ステップで達成（2.3倍の学習高速化）した。

セマンティック視覚-アクショントークナイザーも重要な改善だ。WANの再構成専用VAEをこのトークナイザーに置き換えるだけで、1.3Bモデルのスコアが78.0から86.6へ向上したことがアブレーションで確認されている。

デプロイ面では、以下の特徴的な機能も報告されている：

• Few-shot適応：1タスクあたり10〜15件のデモから新タスクへ対応
• Human-Robot Co-training：人手動画（65,400エピソード）を仮想グリッパーとして再利用
• デモ条件付き制御：テキスト指示の代わりに人手のデモ動画をin-contextで渡す

論文PDFはGitHubで公開されており（リンク）、プロジェクトページはtechnology.robbyant.com/lingbot-va-v2で参照できる。

詳細はAnt Group's Robbyant Unveils LingBot-VA 2.0: A Causal Video-Action Model Built Natively for Physical AIを参照していただきたい。