powered by TechFeed
表示モード
主要ニュース

NVIDIAの推論オーケストレーション基盤「Dynamo」がLLM強化学習のボトルネックを解消 — 重み更新を最大15倍高速化し、MicrosoftやCognitionが本番採用

11月20日、NVIDIAが「Reducing Rollout Bottlenecks in Reinforcement Learning with NVIDIA Dynamo」と題した記事を公開した。強化学習(RL)トレーニングの最大の律速要因であるロールアウト生成のボトルネックを、NVIDIA Dynamoのルーティング・重み配信・障害復旧機能によって解消するアーキテクチャを詳しく紹介した内容だ。CoreWeaveでの実測では重み更新が最大15倍高速化されており、Microsoft・Cognition・Prime Intellectなど複数の組織がすでに本番ワークフローへ採用している。

11月20日、NVIDIAが「Reducing Rollout Bottlenecks in Reinforcement Learning with NVIDIA Dynamo」と題した記事を公開した。強化学習(RL)トレーニングの最大の律速要因であるロールアウト生成のボトルネックを、NVIDIA Dynamoのルーティング・重み配信・障害復旧機能によって解消するアーキテクチャを詳しく紹介した内容だ。CoreWeaveでの実測では重み更新が最大15倍高速化されており、Microsoft・Cognition・Prime Intellectなど複数の組織がすでに本番ワークフローへ採用している。


大規模言語モデルのポストトレーニングに強化学習が広く使われるようになった今、推論ワーカーの効率がトレーニング全体のスループットを左右する。特にロールアウト(モデルの出力・行動・環境とのインタラクションの系列)の生成が遅れると、次のトレーニングステップが詰まる。MicrosoftやCoreWeave、Cognitionなど複数の組織がNVIDIA Dynamoを実際のRL本番ワークフローに採用しており、インフラ側の課題として注目度が高まっている。

RLトレーニングを遅らせる3つのボトルネック

記事はまず、分散ロールアウト基盤が必要な理由を3点に整理している。

1. ロールアウト完了時間の不均衡
グループサンプリングでは、最も遅い1本のロールアウトが次のトレーニングステップをブロックする。GPUにリクエスト数を均等に分散しても、実際の計算量が揃うとは限らない。コーディングエージェントのロールアウトはリポジトリ探索・編集・ツール呼び出し・テストを含む場合があり、単純な推論1本とはワークロードが大きく異なる。

2. 同一プロンプトの繰り返し計算
同じタスクへの複数解を生成する際、共通のプレフィックス(指示文やコーディングリポジトリのコンテキスト)を毎回再計算するとGPU容量を無駄に消費する。

3. モデル重みの鮮度管理
トレーニング中は新しい重みが継続的に生成される。アルゴリズムの要件に応じて、どのタイミングでワーカーに重みを適用するかを管理しなければ、古い重みで生成されたサンプルが学習に使えなくなる。


RLトレーニングの3つの制約:低速なロールアウト、プロンプトの重複処理、タイムリーな重み更新

Dynamoが解決する3つのポイント

KV認識ルーティング:プロンプト再計算を削減

DynamoのルーターはKVキャッシュの再利用率とワーカー負荷の両方を考慮してリクエストを振り分ける。同一プロンプトのリクエストをキャッシュ済みワーカーに集中させれば再計算を省けるが、一方でそのワーカーにキューが積まれて遅延が発生するトレードオフがある。Dynamoはこのバランスを動的に調整し、必要サンプルの完了を早める。

ModelExpress:重み配信のオーバーヘッドを削減

RLでは学習のたびにモデル重みが更新される。毎回ストレージからフルチェックポイントをロードすると時間がかかり、ロールアウト生成が止まる。

ModelExpressはこの問題を2段階で解消する。

  • GPU間直接転送:クラスター内の別GPUがすでに持っている重みを、NIXL(NVIDIA Inference Xfer Library)を介して直接コピーする。ストレージ経由より大幅に高速。
  • 差分(デルタ)転送:フルモデルではなく、前回との差分の圧縮表現だけを送信する。受け取ったワーカーはベースウェイトに差分を適用して最新の重みを再構築し、転送量とネットワーク負荷を削減する。


ModelExpressはフルモデルではなく圧縮された差分を転送することで重み更新を高速化する

CoreWeaveはDynamoとModelExpressの組み合わせで重み更新を最大15倍高速化したと報告している。またH Companyは平均トレーニングステップ時間を最大20%短縮、GPU時間を最大5%削減した。

ワーカー障害からの回復

長時間のトレーニングランではワーカー障害が避けられない。Dynamoはワーカーの消失を検知し、新規リクエストを健全なワーカーへ振り向けつつ、代替ワーカーの準備が整い次第ルーティングに追加する。差分転送の仕組みは障害回復にも機能する——代替ワーカーはチェックポイントをロードして以降の差分を適用することで、現在のトレーニング状態に追いつける。

実際の採用事例

記事では以下のプロジェクトでの採用が示されている。

  • Microsoft AI:ポストトレーニングのRLロールアウト推論にDynamoを活用
  • CoreWeave:DynamoとModelExpressで重み更新を最大15倍高速化
  • Cognition:コーディングエージェントSWE-1.7のポストトレーニングでDynamoを使用。SWE-1.7はリポジトリ操作やツール呼び出しを伴う長いロールアウトを大量に生成するタスク性質上、KV認識ルーティングによるキャッシュ再利用の恩恵が特に大きいと考えられる
  • Prime Intellect:分散推論オーケストレーションに採用。同社は1兆パラメータスケールのRL実験を複数拠点の分散GPUクラスターで実行しており、地理的に分散したワーカー間での重み同期やフォールト・トレランスの要件がDynamo採用の背景にある
  • H Company:トレーニングステップ時間最大20%短縮、GPU時間最大5%削減

オープンソース連携としては、verl、NeMo RL、Slime、prime-rlとの統合が用意されており、既存のRLスタックへの組み込みが可能だ。

ドキュメントはDynamo RL documentationから参照できる。


詳細はReducing Rollout Bottlenecks in Reinforcement Learning with NVIDIA Dynamoを参照していただきたい。