powered by TechFeed
表示モード
ハウツー

AWSが音声AIの「声が途中で変わる問題」を3層アーキテクチャで解決 — コンタクトセンターの通話を最初から最後まで同一音声で統一する手法

11月20日、AWSが「Agentic voices in Amazon Connect Customer: one voice from start to finish」と題した記事を公開した。この記事では、Amazon Connectにおける音声AIエージェントを「耳・脳・口」の3層アーキテクチャで構成し、通話全体を一貫した単一音声で実現する手法について詳しく紹介されている。

11月20日、AWSが「Agentic voices in Amazon Connect Customer: one voice from start to finish」と題した記事を公開した。この記事では、Amazon Connectにおける音声AIエージェントを「耳・脳・口」の3層アーキテクチャで構成し、通話全体を一貫した単一音声で実現する手法について詳しく紹介されている。


「3つのシステムがコートを着て1人のふりをしている」問題

コンタクトセンターでよく起きる場面がある。電話をかけると、最初の挨拶は自然な声なのに、AIが応答する瞬間に声が変わる。同じ通話なのに、まるで別人が出てきたような感覚だ。

AWSはこれを「three systems in a trench coat pretending to be one(3つのシステムがトレンチコートを着て1人のふりをしている)」と表現している。音声AI体験を壊す根本原因は、音声認識・AI推論・音声合成が別々のベンダーの別々のエンジンとして動いていることにある。

Amazon Connect Customerの「Agentic Voice」はこの問題を、耳(Ears)・脳(Brain)・口(Mouth)の3層を単一の音声IDで統合するアーキテクチャで解決しようとしている。


3層アーキテクチャの詳細

耳(Ears):音声認識

耳は発話をテキストに変換するだけでなく、「話し終わり」をいつ判定するかという最も重要な判断を担う。

従来の「沈黙ベース検出」は一定時間の無音をもって発話終了とみなす。しかしこれには2つの失敗パターンがある:

  • 早すぎる割り込み:「口座番号は…ちょっと待って…」の途中でAIが応答を始める
  • 不自然な間:話し終わった後も長い無音が続く

Agentic Voiceではモデルネイティブターン検出を採用している。沈黙の長さではなく、会話上のシグナルから「話し終わり」を予測する。記事中のFNOL(First Notice of Loss=事故の初回報告。保険業界において、顧客が事故を最初に保険会社へ連絡するプロセスを指す)シナリオでは、発話者が「Highway 101」の後に一時停止しても、それが文の途中であると判断してAIは待機し、発話が完全に終わった時点でテキストを渡している。

設定箇所:Agentic CXブロック > Speech recognition engine > "Amazon Connect agentic voice"

脳(Brain):AI推論

脳はテキストを受け取り、ツール呼び出しや知識検索、エスカレーション判断を経て応答を生成する。ここで音声特有の重大な問題がある。

マークダウンや箇条書きはそのまま読み上げられる。「**残高は**」が「アスタリスクアスタリスク残高はアスタリスクアスタリスク」と発声されてしまう。

記事では、以下のシステムプロンプトの追加を推奨している:

Speech Output Formatting
Everything you output will be spoken aloud by text-to-speech.
Follow these rules:
1. Use full sentences with normal capitalization and punctuation.
2. Use conventional written forms for numbers, dates, and acronyms.
3. Do NOT use markdown, bullet points, headers, bold, raw JSON, emoji, or special characters.
4. For codes or IDs that must be read character by character, except phone numbers, wrap in <spell> tags: <spell>TKT4829XB</spell>
5. Respond concisely. Callers cannot scroll back.
6. Do not use parentheses, brackets, curly braces, or quotation marks.

<spell>POL8294XB</spell> のようにタグで囲むだけで、証券番号や確認コードを1文字ずつ明瞭に読み上げさせられる。たった1行の追加で、すべての識別子の読み上げ方が変わる。

設定箇所:Agentic CXデザイナー > generative journey prompt

口(Mouth):音声合成

口は脳の出力を音声に変換する。ここで重要なのは、通話全体(挨拶・応答・保留メッセージ)を同じ音声エンジン・同じ音声IDで統一することだ。

Agentic VoiceはSet Voiceブロックで "Amazon Connect agentic voice" を選択するだけで有効になる。50以上のロケールをサポートし、多言語対応の音声(Katie、Blake、Brooke、Ronald、Gemma)は単一の音声IDから複数言語を話せるため、フローを変更せずに発話者の言語に追従できる。なお、Amazon Connectにおける音声合成の基本的な仕組みについては公式ドキュメント「Set up text-to-speech」も参照されたい。

感情・速度・一時停止などの細かい制御には専用タグが使える:

タグ 効果 用途例
<speed ratio="0.85"/> 速度を落とす 法的免責事項
<break time="500ms"/> 一時停止 メニューの選択肢の間
<spell>ABC123</spell> 1文字ずつ読む 確認コード
<emotion value="sympathetic"/> 共感的なトーン 事故報告、クレーム
[laughter] 自然な笑い ラポール構築

診断ツールとしての使い方

この3層モデルは、本番環境でのトラブルシュートにも使える。「音が悪い」とだけ言われてすぐLLMを疑うのは典型的な誤診だ。以下の表を起点に、症状から該当層を特定して対処するとよい。

症状 該当層 対処
「AIに話を遮られる」 耳 ターン終了タイムアウトを延ばす
「応答まで間が空く」 耳 短い回答用のターン終了待機を短縮
「間違った回答が返ってくる」 脳 システムプロンプトや知識ソースを改善
「マークダウンを読み上げる」 脳 音声フォーマットルールをプロンプトに追加
「ロボットみたいな声」 口 Set VoiceブロックでAgentic Voiceに切り替え
「挨拶とAIの声が違う」 口 すべての接点で同じ音声プロバイダーを設定

各層は独立しているため、声のチューニングをしても音声認識や推論ロジックには影響しない。層ごとに独立してイテレーションし、影響を単独で計測できる点が設計上の利点だ。Amazon Connectのフロー設計全般についてはAmazon Connect管理者ガイド、エージェントの構成についてはAmazon Connect エージェントガイドも参考になる。


詳細はAgentic voices in Amazon Connect Customer: one voice from start to finishを参照していただきたい。