10月21日、Matthias Bastianが「Elevenlabs releases two new speech-to-speech models designed for real-time AI conversations」と題した記事を公開した。ElevenLabsが発表したリアルタイム音声変換モデル「Eleven Realtime」は、上位モデルv1 Maxが0.57秒のレイテンシと**98.8%**の精度を記録し、ElevenLabsは「現時点でこれより速くかつ正確なSpeech-to-Speechモデルは存在しない」と主張している。
0.57秒・98.8%という数字
Eleven Realtimeは、音声から音声へのリアルタイム変換（Speech-to-Speech）に特化した2つのモデルだ。
上位モデルのv1 Maxは、Big Bench Audioベンチマークで98.8%のスコアを記録し、応答レイテンシは0.57秒。Big Bench Audioは、音声AIモデルの理解精度・応答品質を多角的に評価するベンチマークで、音声AIの性能比較において広く参照されている。ElevenLabsは「Artificial AnalysisのSpeech-to-Speechリーダーボード上で、現時点でこれより速くかつ正確なモデルは存在しない」と述べている。
Artificial AnalysisのリーダーボードではEleven Realtime v1 Maxが高精度・低レイテンシの象限（左上コーナー付近）に位置しており、速度と精度のトレードオフで他モデルを上回る位置づけとなっている。
2モデルの使い分け
| モデル | 特徴 | 主な用途 |
|---|---|---|
| v1 Max | 高精度・98.8% / 0.57秒 | カスタマーサポートなど複雑なタスク |
| v1 Mini | 低コスト・自然な会話向け | 軽量な対話アプリ |
下位モデルのv1 Miniは、コストを抑えつつ自然な会話を実現することに焦点を当てている。特徴的なのが、発話終了の検出精度だ。相手が話し終えたのか、それとも「うーん」「んー」といった相づちを打っているだけなのかを区別できる。リアルタイム会話AIでは、この判定のズレが不自然な割り込みや沈黙につながるため、実用上の重要度は高い。
v1 MaxとMiniは用途による使い分けを想定した設計であり、精度よりも応答の自然さや会話テンポを重視するシナリオではMiniが適している。音声品質や対応言語の詳細な仕様比較については、ElevenLabsの公式ドキュメントに情報が掲載されている。
提供形態と料金
両モデルは**ElevenAgentsプラットフォームと、OpenAI互換のRealtime API**経由で利用できる。OpenAI互換であることで、既存のOpenAI Realtime APIを使った実装からの移行コストを下げる狙いがあると見られる。既存コードベースをほぼそのまま流用しながらモデルだけを切り替えられる点は、開発者にとって実質的なメリットになりうる。
料金体系は「分単位 ＋ トークンコスト」の組み合わせで、v1 MaxはMiniより高価格。詳細はElevenLabsの料金ページに掲載されている。
背景：TTS最大手がリアルタイム音声エージェント市場へ
リアルタイム音声AIは現在、主要テック企業が相次いで参入している競争領域だ。OpenAIはGPT-4oのAudio機能およびRealtime APIを通じて音声エージェント基盤を提供しており、GoogleはProject Astraなどを通じてマルチモーダルなリアルタイム音声処理の実用化を進めている。
ElevenLabsはもともとテキスト読み上げ（TTS）の高品質さで知られるスタートアップだ。2024年1月には10億ドル超の評価額でシリーズBラウンドを調達し、著名なコンテンツ制作者・企業による音声コンテンツ生成や、ゲーム・映像分野でのナレーション自動化などに広く活用されてきた実績を持つ。その同社が今回、純粋なSpeech-to-Speechモデルとして音声AIエージェントの構築基盤を直接狙う領域に踏み込んだことは、TTS単体から総合的な音声AI基盤へのピボットとして注目に値する。
Eleven Realtimeが音声エージェント市場でどこまで存在感を示せるかは、OpenAIやGoogleとの性能・価格・エコシステムの競争次第となるが、OpenAI互換APIという選択は開発者取り込みの現実的な戦略といえる。
詳細はElevenlabs releases two new speech-to-speech models designed for real-time AI conversationsを参照していただきたい。
