10月24日、The Decoderが「Block's new AI model Dessa was trained entirely on human speech to catch emotions text-based models miss」と題した記事を公開した。SquareやCash Appを傘下に持つBlockが発表した音声AIモデル「Dessa」は、入力処理において音声認識（ASR）を一切使わず、音声波形をそのまま処理するという設計が最大の特徴だ。感情・皮肉・笑い・沈黙といった、テキスト化の段階で失われがちな情報をリアルタイムに捉えられる点で、既存の音声AIとは根本的にアーキテクチャが異なる。
テキストを一切使わずに音声だけで訓練したAIモデル
Dessaの核心は、訓練データにテキストを一切使用していない点だ。既存の音声AIの多くは「音声→テキスト変換（ASR: Automatic Speech Recognition）→言語モデル処理」というパイプラインを採用している。このテキスト化のステップでは、感情・抑揚・間・音量変化といった音声固有の情報が構造的に失われる。たとえば「そうですね」という発話も、棒読みか皮肉か笑いを含むかは、テキストに変換した時点で区別がつかなくなる。
DessaはこのASRステップを入力処理の段階から排除し、音声波形をそのまま処理することで、感情、皮肉、笑い、沈黙をリアルタイムに捉えられる設計となっている。なお、Dessaが出力側（音声合成）でテキストをどう扱うかについては元記事では明示されておらず、「テキスト変換を捨てた」という特徴はあくまで入力処理・訓練データの側面での話である点に注意が必要だ。
また、フルデュプレックス通信（full-duplex）に対応している。フルデュプレックスとは送話と受話を同時に行える通信方式のことで、人間同士の会話のように相手の発話中でも応答できる。従来の多くの音声AIが「聞く」と「話す」を交互に切り替えるハーフデュプレックス型であるのに対し、より自然でリアルタイム性の高い対話を実現する。会話の流れを途切れさせずに割り込みや相槌を処理できるこの特性は、カスタマーサポートや音声インターフェースの実用性に直結する。
ハードウェア面では、MacBook Pro M4 Max上でのローカル動作を確認済みとのことだ。訓練にはNVIDIA GB200 NVL72を使用したとされている。GB200 NVL72はNVIDIAのBlackwellアーキテクチャを採用した大規模AIシステムで、最大72基のGPUをラックスケールで統合した構成を持つ。元記事では「1台（one）」と表記されているが、この「1台」はラックシステム全体を指しており、一般的な単体GPUカード1枚とはまったく異なる規模のインフラであることを念頭に置いてほしい。
開発の動機と現在の公開状況
Blockがモデル開発に踏み切った理由として、「好奇心」「より良い人間とAIのコミュニケーションへの欲求」、そして安全上の懸念の3点を挙げている。現状の音声AIは感情的なサインを無視しており、それ自体がリスクになり得るという認識だ。たとえば、ユーザーが苦境や混乱を声のトーンで示していても、ASRベースのシステムはその感情情報を読み落とし、的外れな応答を返してしまう。Blockはこの「感情的盲点」を安全上のリスクと捉え、Dessaの開発を進めた。
Dessaは現時点で一般公開されていない。まずAIセキュリティ研究者を対象に予期しないリスクの検証を行う方針で、関心のある研究者は専用フォームから応募できる。
感情対応の音声AIは前例がある。ただし課題も残る
感情を持つ音声AIへの取り組みはBlockが初めてではない。
- 2023年末: LAIONがOpen Empathicプロジェクトを開始。オープンソースの音声データセットを用いた感情的音声合成モデルの訓練に取り組んでいる
- 2024年3月: Hume AIがEVI（Empathic Voice Interface）を公開
- 2024年9月: フランスのKyutaiがオープンソースの会話AIアシスタントMoshiをリリース
- 2025年6月: OpenAIがChatGPTの「Advanced Voice Mode」を刷新し、イントネーション・間・共感・皮肉表現の精度を向上
ただし、記事は「感情的に聞こえること」と「感情的・知的であること」は別物だと指摘する。高度な音声AIにとって、声の自然さより応答しながら推論できる能力の方が実用上は重要であり、回答の質に直結するからだ。
Dessaが感情認識という入力側の精度を上げることで、音声AIの応答品質全体にどう影響するかは、今後の検証次第だ。
詳細はBlock's new AI model Dessa was trained entirely on human speech to catch emotions text-based models missを参照していただきたい。
