8月9日、Michal Sutterが「ByteDance Seed Introduces SeedRealtime: a Native Audio-Visual Full-Duplex LLM That Watches, Listens and Speaks in One Model」と題した記事を公開した。エスプレッソを淹れる手元を見ながら間違いに割り込み、美術館で「特定の展示品が映ったら教えて」という指示を黙って保持し続け、対象物が映った瞬間に自発的に声をかける——ByteDanceのSeedチームが発表したリアルタイムLLM「SeedRealtime」は、音声・映像・テキストを1つのモデルで統合処理することで、こうした従来のリアルタイム音声AIが苦手としてきた動作を実現している。
カスケード構成との決別
リアルタイム音声対話システムの多くは、ASR（音声認識）→VLM（視覚言語モデル）→TTS（テキスト音声合成）を直列につないだ「カスケード構成」で動く。各ステージ間でレイテンシが積み重なり、情報も失われる。OpenAIのGPT-4o RealtimeやGoogleのGemini Liveといった競合モデルも、アーキテクチャの詳細は非公開な部分が多いものの、同様のマルチモーダル・リアルタイム対話を目指すカテゴリに位置づけられる。SeedRealtimeはこの文脈で、カスケードを丸ごと廃するエンドツーエンド設計を前面に打ち出している点が特徴だ。
SeedRealtimeはこのカスケードを廃し、知覚・理解・判断・発話を1つのエンドツーエンドモデルで並列実行する設計を採用した。さらに、ほとんどのリアルタイム音声スタックが外部モジュールとして持っていたVAD（Voice Activity Detection：話者の発話区間を検出する仕組み）も、モデル内部に取り込んでいる。ByteDanceの社内評価では、カスケード構成と比べてタイミングのずれが半減したとされる。ただし、公開ベンチマークや具体的なレイテンシ数値は公表されていない。
4つのデモで示された実力
Seedは7つのシナリオを公開している。特に注目すべき4つを紹介する。
1. マルチモーダルな人物特定
騒がしいグループディナーで、モデルは人が紹介される際に名前と顔を対応付け、その後も各人の声と身元を紐づけ続ける。旅行先の好みをめぐる議論では、誰がどの意見を言ったかを正しく把握した上でプランを提案する。
2. 指示を保持しての自発発話
美術館で「特定の展示品が映ったら教えて」と指示したユーザーが、カメラをパンし続けてもモデルは黙って監視を続け、対象物がフレームに入った瞬間に自発的に声をかける。論文のページをめくるシナリオでも、「3.4 Implementation」の節を検知した瞬間に自動で停止し、学習率・モメンタム・重み減衰の数値を読み上げる。
3. 視覚的な状態からの割り込み訂正
エスプレッソ抽出の作業を見ている最中、ポルタフィルター（エスプレッソマシンのバスケット部）に豆をそのまま入れようとした瞬間にモデルが割り込む。その後、クレマの色と量を読み取り、抽出時間を2〜3秒短縮するよう提案する。
4. 干渉抑制と画面外情報の保持
空港で無関係な会話が聞こえても反応しない。ユーザーが実際に質問した際には、すでにスクロールアウトした出発案内板の情報から回答し、バゲージカルーセルの場所はオンラインで検索して答える。
これらのデモが示すのは、単なる音声認識精度の向上にとどまらず、「いつ話すか」「何を優先して記憶するか」「視覚情報と音声情報をどう統合するか」という判断をモデル単体で担う設計の実用性だ。カスケード構成では各ステージ間の情報の欠落や遅延が積み重なるため、割り込み訂正や指示保持のような動作は特に実現が難しい。
実際に使えるのか
現時点でSeedRealtimeはByteDanceのコンシューマー向けアシスタントアプリ「Doubao」に統合済みだ。しかし、テクニカルレポート・パラメータ数・公開ウェイト・外部API（Volcano EngineやBytePlus経由を含む）のいずれも公表されていない。サードパーティが現時点でインテグレーションする手段はない。
公開されているのはSeedブログの発表記事とSeedモデル一覧ページのみだ。
要点整理
- 音声・映像・テキストを1つのエンドツーエンドアーキテクチャで処理するフルデュプレックスLLM
- ターンテイキング（いつ話すかの判断）をモデル内部で完結させ、外部VADを不要とした
- ByteDanceの社内評価でカスケード構成比でタイミングのずれが半減。ただし第三者検証なし
- GPT-4o RealtimeやGemini Liveと同じマルチモーダル・リアルタイム対話カテゴリに位置づけられるが、技術的な比較検証はまだ行われていない
- Doubaoアプリでは稼働中だが、APIもウェイトも未公開
詳細はByteDance Seed Introduces SeedRealtime: a Native Audio-Visual Full-Duplex LLM That Watches, Listens and Speaks in One Modelを参照していただきたい。
