powered by TechFeed
表示モード
Deep Dive

Microsoft Copilot SDK 2.0はRustで書き直されたマルチテナントランタイムで何が変わるか — レスポンスタイム5秒→55ms、メモリ使用量は1/10に

11月18日、Microsoftが「Introducing the Microsoft Copilot SDK 2.0」と題した記事を公開した。Microsoft Copilot SDK 2.0の最大の変化は、1ターンあたりのレスポンスタイムが5.25秒から55.3ミリ秒へ、メモリ使用量が1,383MBから126MBへと劇的に改善した点だ。この数字を実現した背景にあるのが、ランタイムのRust完全書き直しと、「セッション=コンテナ」という旧来の前提を取り除いたマルチテナントアーキテクチャである。

11月18日、Microsoftが「Introducing the Microsoft Copilot SDK 2.0」と題した記事を公開した。Microsoft Copilot SDK 2.0の最大の変化は、1ターンあたりのレスポンスタイムが5.25秒から55.3ミリ秒へ、メモリ使用量が1,383MBから126MBへと劇的に改善した点だ。この数字を実現した背景にあるのが、ランタイムのRust完全書き直しと、「セッション=コンテナ」という旧来の前提を取り除いたマルチテナントアーキテクチャである。


何が変わったか:「セッション=コンテナ」の前提を捨てた

これまでのCopilot SDKは、セッションごとに1つのコンテナを起動する設計だった。セキュリティ上の要件がないシンプルなチャットでも、コードを実行するヘビーなタスクでも、コンテナが必須だった。これにより初回レスポンスまでのウェイト、コストのスケール問題、プロセスとIDが一体化した制約が、あらゆる実装に影響を及ぼしていた。

SDK 2.0はこの前提を取り除いた。ランタイムがマシンを「所有する」という想定を外し、シェル・ディスク・IDをそれぞれ抽象化レイヤーに置き換えた。


核心:Rustで書き直したマルチテナントランタイム

2.0最大の変更点は、1つのプロセス内で複数のセッションをホストできるランタイムだ。各セッションは独立した状態・認証情報・ツール・ファイル・履歴を持ち、セッション間は完全に分離される。

コンテナもプロセスも不要になったことで、パフォーマンスの数字が大きく変わった。

指標 TypeScript CLI(旧) Rustコア(新)
1ターン完了までの時間 5.25秒 55.3ミリ秒
10クライアントのメモリ使用量 1,383 MB 126 MB
スループット 7.55セッション/秒 120セッション/秒

ランタイムをRustで書き直した効果がそのまま数字に出ている。RustはGCを持たないため、Node.jsやPythonランタイムのようなガベージコレクション起因のレイテンシスパイクが構造的に発生しない。また、メモリ安全性をコンパイル時に保証する設計が、マルチテナント環境でのセッション間分離の信頼性とも相性がよい。エージェントランタイムのような「多数の独立したセッションを低レイテンシで同時処理する」用途では、GCレスかつ低メモリフットプリントのRustは実用上の選択肢として説得力がある。

※編集部の考察:Rustの採用はパフォーマンス単体の判断ではなく、マルチテナント分離の実装コストをランタイムレベルで吸収するための設計判断とも読める。

SDKのAPIはTypeScript・Python・Go・.NET・Java・Rustから利用できる。

共有ランタイムへの接続は mode: "empty" で指定する:

import { CopilotClient } from "@microsoft/copilot-sdk";

const client = new CopilotClient({
  mode: "empty", // シェル・ファイル・CLIデフォルトを持たないクリーンな状態で起動
});

セッションごとのID管理

旧来はランタイムを起動したプロセスのIDでモデル呼び出しが行われていた。2.0ではセッションを作成するタイミングでユーザーのクレデンシャルを渡す設計に変わり、モデル呼び出しやツール呼び出しはすべてそのユーザーに帰属する。

const session = await client.createSession({
  gitHubToken: user.githubToken,
  // 有効期限切れに備えたローテーション対応: gitHubTokenProvider も使用可
});

本番環境向けには gitHubTokenProvider コールバックでセッションごとにトークンを都度取得する仕組みもある。長期トークンを保持するリスクを避けられる。


セッションの永続化と再開

コンテナベースの旧アーキテクチャでは、セッションはコンテナのライフタイムに縛られていた。2.0ではセッションがプロセスやクライアントの生死に依存しない。

ランタイムはセッションの進行をセッションジャーナル(イベントログ)に記録する。セッションジャーナルとは、会話の全イベントを時系列で記録した追記専用のログであり、これを読み込めるランタイムであれば再起動後の同一プロセスでも別マシンでもセッションをフル履歴つきで再開できる。いわば「再生可能なセッション状態」を外部ストレージに持ち出せる仕組みだ。

// 任意のサービスインスタンスからセッションをIDで再開
const session = await client.resumeSession("user-123-task-456", {
  createSessionFsProvider: (s) => tenantStorage(user.tenantId, s.sessionId),
});

await session.sendAndWait({ prompt: "Where did we land on the Q3 numbers?" });

セッション状態の保存先は sessionFs で制御でき、オブジェクトストレージやデータベース、テナントごとのパスに向けることができる。Webアプリが切断している間もバックグラウンドタスクを継続し、Webhookで後から会話を再開する、といった使い方が可能だ。


6つのアーキテクチャパターン

SDK 2.0はアーキテクチャを強制しない。「エージェントがどこで考えるか(モデルループ)」と「どこで実行するか(シェル・ファイル操作)」を分離して選択できる。

用意された6パターンを簡潔にまとめる:

  • 共有ランタイム上の複数セッション:コンテナなし。APIやMCPサーバーを使うシンプルなアシスタント向け
  • プロモータブル(昇格)アーキテクチャ:セッションは共有ランタイムで開始し、シェルやファイルが必要になった時点でサンドボックスに移行。コンテナのコストを必要な分だけ払う。「promotable architecture」とは、セッションを途中から重いリソースに"昇格"させられる設計を指す
  • 共有エージェントループ+サンドボックス環境:モデルループは共有ランタイムに置き、コマンド実行だけサンドボックスに転送。コードインタープリターや独自ハーネス向け
  • コーディネーター+ワーカー(委譲):共有ランタイム上のコーディネーターが、独立したサンドボックス上のワーカーエージェントに並列タスクを割り振る。ソフトウェアファクトリーやリサーチスウォームに適する
  • 混合(Direct+Delegate):コーディネーターがサンドボックスとワーカー両方を持つ最も柔軟な構成
  • 完全隔離コンテナ:セッション開始からシェルとファイルが必要な場合は従来どおりの分離コンテナを使う

アーキテクチャ選択の判断軸は「最初のターンからシェルとファイルが必要か」という一問に帰着する。最初のターンから不要であれば共有ランタイムからスタートし、必要になった段階でプロモータブルアーキテクチャでサンドボックスに昇格させるのが、コスト効率と柔軟性のバランスとして最も汎用性が高い。最初から重い実行環境が確実に必要な場合のみ、完全隔離コンテナを選ぶというのが実用上の選択指針になる。

※編集部の考察:6パターンのうち「プロモータブル」と「コーディネーター+ワーカー」の2つが、旧SDKでは実装コストが高かった構成だ。この2つを標準パターンとして提供したことが、SDK 2.0の実質的な付加価値の中心と言える。


マネージド環境との統合

自前インフラを避けたい場合、GitHub Copilot クラウドサンドボックスとMicrosoft Foundry マネージドエージェントという2つのマネージド実行環境がすでに利用可能だ。さらなるホスティングオプションも近日提供予定とされている。

入門はgetting-started guideから始め、mode: "empty"、セッションごとのID管理、ツールのallowlistを扱うマルチテナンシーガイドへと進むのが公式の推奨ルートだ。


詳細はIntroducing the Microsoft Copilot SDK 2.0を参照していただきたい。