11月2日、startuphub.aiが「ElevenLabs packs voice stack into one model」と題した記事を公開した。ElevenLabsがリアルタイム音声処理のマルチコンポーネント構成を単一モデルに統合した新製品「Eleven Realtime」を発表した内容を伝えている。
5コンポーネントを1つのモデルIDに集約
音声エージェントを「自然に聞こえる」レベルで実装しようとすると、従来は以下の5つのコンポーネントを選定・統合する必要があった。
- STT（音声認識）
- VAD（Voice Activity Detection：発話区間検出）
- ターンテイキング（会話の順番制御）
- LLM（大規模言語モデル）
- TTS（テキスト音声合成）
それぞれのコンポーネント間のハンドオフ調整——ポーズの長さ、割り込み処理、プロンプトと音声の相互作用——は開発チームが自前でチューニングする必要があり、実質的に「設定のエキスパート」になることを強いられていた。個々のコンポーネントをベストオブブリードで選定しても、それらを繋ぎ合わせた際の品質劣化やレイテンシの積み上がりは避けがたく、プロダクションレベルの音声体験を実現するまでの工数は相当なものになっていた。
ElevenLabsは10月20日、Eleven Realtime v1 MiniとEleven Realtime v1 Maxの2モデルをデモ公開した。入力音声→出力音声を単一のモデルIDで処理する、いわゆるspeech-to-speechモデルである。これらのモデルはElevenLabsの**ElevenAgentsプラットフォームおよびRealtime API**向けに提供される。
OpenAIのRealtime APIと互換性あり
開発者にとって移行コストが低い点は実用上重要だ。ElevenLabsのRealtime APIは**OpenAIのRealtime APIと互換性**があり、既存コードはエンドポイントURLとモデル名を変更するだけで動作する。
OpenAIのRealtime APIはWebSocketベースのプロトコルを採用しており、ElevenLabsはそのインターフェース仕様に準拠することで、既存のOpenAI Realtime API向けの実装資産をそのまま活用できるようにしている。チームがすでにOpenAIのSDKやサンプルコードを用いて構築した音声エージェントがあれば、エンドポイントとモデル識別子の差し替えだけでElevenLabsのモデルに切り替えられる設計だ。
対応言語は90言語以上、ElevenLabsのライブラリに収録された17,000以上の音声を利用できるとしている。
カスケードアーキテクチャで「テキストが残る」設計
Eleven Realtimeは、複数コンポーネントを融合した単一モデル（fused/duplexモデル）ではなく、end-to-endでチューニングされたカスケードアーキテクチャを採用している。
fused/duplexモデルとは、STTやTTSといった中間ステップを持たず、音声入力から音声出力を直接生成するアーキテクチャを指す。処理ステップが少ない分レイテンシ面で有利な反面、中間表現としてのテキストが存在しないため、エージェントが「何を聞き取り」「何を返答しようとしたか」をトレースしにくい。
これに対してEleven Realtimeが採用するカスケード構成では、処理の各ステップでテキストが保持される。エージェントの応答を事後にテキストとして参照できるため、問題発生時に「聞き取りミス（STT起因）」と「判断ミス（LLM起因）」を切り分けられる。
これはプロダクション環境での運用で直接効いてくる。ElevenLabsによれば、このテキスト保持の仕組みにより、ElevenAgentsでのガードレール適用やPII（個人識別情報）のリダクションをRealtime Agent上でも有効にできるという。fused/duplexモデルが音声を直接変換するアーキテクチャでは実現しにくい部分だ。
また、カスケード構成を採用しながらもend-to-endでチューニングされているため、fused・duplexモデルと同じリーダーボードで評価可能な位置づけとしている。
ミニとマックスの使い分け
v1 Miniとv1 Maxの2モデルが提供される。元記事ではそれぞれのスペック差や具体的なベンチマーク数値には踏み込んでいないため、詳細な性能比較は元記事の範囲外となっている。いずれもElevenAgentsとRealtime APIの両方から利用可能であり、ユースケースや要件に応じてモデルを選択できる構成になっている点は共通している。
音声エージェント開発における「スタック統合」の流れは、テキストベースのLLM APIが普及した際と同様の構図であり、ElevenLabsが今回狙っているのも同じ開発者体験の簡素化だ。ただし、カスケードアーキテクチャを維持しながら可観測性（observability）を確保した設計は、エンタープライズ向けの要件（監査ログ、個人情報保護）を意識した差別化点と言える。
詳細はElevenLabs packs voice stack into one modelを参照していただきたい。
