言葉は同じでも『言い方』でAIアシスタントの行動は変わるべきか──480シナリオで測る『Hear2Act』

「大丈夫です」という同じ言葉でも、口調が穏やかか、それとも苛立っているかで、実際には正反対の意味を伝えていることがある。音声対応のAIアシスタントが、この「言い方」の違いを行動に反映できているかを測った論文が、2026年8月20日にarXivで公開された(8月21日に改訂版)。

言葉が同じでも「言い方」だけで意味が変わる

論文の問題意識はこうだ。

"Prosodic cues can convey task-relevant information that alters the trajectory and outcome of a task-oriented dialogue, even when the words themselves remain unchanged."

韻律の手がかり(声の高さ・強弱・速さといった話し方の特徴)は、言葉そのものが変わらなくても、タスク指向対話の進行や結果を変えるようなタスク関連情報を伝えうる。既存のベンチマークは、韻律の知覚・応答の適切さ・タスク指向対話をそれぞれ切り離して評価する傾向があり、韻律から得られる証拠が実際に下流の意思決定を変えるかどうかをテストすることが難しかった、と論文は指摘する。

Hear2Act:テキストと音声、両方で評価できる統一プロトコル

対策として構築されたのが「Hear2Act」だ。テキスト・音声両対応のアシスタント向けの統一評価プロトコルで、480件の人物設定(ペルソナ)つきシナリオ、隠された利用者の懸念、客観的に検証可能な結果から構成される。各シナリオでは、タスクとユーザーのニーズは固定したまま、同じ懸念が言葉で明示的に伝えられるか、それとも主に韻律を通じて伝えられるかを変化させ、トランスクリプト(文字起こし)・音声・懸念状態それぞれへのアクセス条件のもとでの意思決定を評価する。

数字:「音声を聞く」だけでは不十分、「明示的に表現させる」と効く

2つの音声対応LLMを評価した結果はこうだ。

"Under Prosody-mediated feedback, adding audio to the transcript changes the average optimal-solution rate only from 14.6% to 15.3%. In contrast, when models infer the concern status from audio, represent it in text, and use it for next-action selection, the rate rises to 39.6%, close to 40.7% with the ground-truth state."

韻律を介したフィードバックの条件下では、文字起こしに音声を追加するだけでは、平均的な最適解率は14.6%から15.3%までしか変わらない。対照的に、モデルが音声から懸念の状態を推論し、それをテキストとして明示的に表現し、次の行動選択に使う場合には、この率は39.6%まで上昇し、正解(ground-truth)の状態を与えた場合の40.7%に迫る。つまり、単に「音声を聞かせる」だけではほとんど効果がなく、聞き取った内容を明示的な中間表現(テキスト)に変換させてから使わせることで、初めて大きな改善が得られる、という結果だ。

一方で、この対比は言葉で明示的に懸念が伝えられる条件では消える。

"This contrast, however, largely disappears under Explicit lexical feedback, where the concern is verbally mentioned in the utterance."

懸念が発話の中で言葉として明示的に述べられている場合、この対比はほぼ消失する——言葉で言われていれば、音声を活用しようがしまいが結果は変わらない、ということだ。論文はこれらの結果から、語彙的な証拠だけでは不十分な場合に韻律が重要になること、そして音声対応LLMは音声から情報を回復できるものの、明示的な中間表現がなければその情報を確実に行動へとつなげられないことを示している。

この結果が示す構図は、人間のカウンセリングやカスタマーサポートの現場での経験則とも重なる。相手が言葉にしていない不満や不安を汲み取れるかどうかが、対応の質を大きく左右するという直感は広く共有されているが、この論文はそれをAIアシスタントの文脈で定量的に裏付けた形になる。「音声を処理できる」ことと「音声から読み取った情報を行動に反映できる」ことの間には、明示的な変換ステップという橋渡しが必要だという指摘は、音声AIの内部設計に関わる具体的な示唆と言える。

ベンチマークの規模：480シナリオが54,240のロールアウトに展開される

本文PDFを通読すると、要旨だけでは分からなかったベンチマークの具体的な構成が判明した。

480件のシナリオ自体は固定だが、モデル・アクセス条件・音声レンダラー・介入の組み合わせによって、合計54,240件の評価ロールアウトに展開される。

「48ドメイン」の出どころである「SGD」は、GoogleがAAAI 2020向けに発表した「Schema-Guided Dialogue（SGD）」という実在の対話データセットだ。公式GitHubのREADMEを確認すると、現在配布されているSGDデータセット本体は「銀行・イベント・メディア・カレンダー・旅行・天気など20ドメインにまたがる、2万件超の注釈付きマルチドメイン対話」から構成されるという。データセットを最初に発表した2019年の原論文（AAAI 2020採択）の要旨では「16ドメイン・1.6万件超の対話」という、データセット公開初期時点の数字が使われており、その後のデータ追加を経て現在の「20ドメイン・2万件超」という規模に拡張されたことがうかがえる。1つのドメインの中に複数のAPI（サービス）が存在する設計のため、Hear2Actが挙げる「48」という数字が、SGDの最上位カテゴリである「ドメイン」単位を指すのか、それともドメイン内の個別サービス単位までを数えたものなのかは、Hear2Actの本文記述だけからは判別できなかった。いずれにせよ、Hear2Actが土台にしているSGDは、GoogleやAlexaのような実際の音声アシスタントを念頭に設計された、査読を経た実在のベンチマークデータセットである点は確認できた。

評価対象モデル：音声2種＋テキスト5種

要旨の「2つの音声対応LLM」だけでなく、本文には評価対象モデルの具体名がすべて記載されていた。

つまり記事執筆時点の要旨だけを読んでいた段階では分からなかった「Claude Opus 4.6・Kimi K2.5・DeepSeek-V3.2・GLM-5・Qwen3-32Bという5つのテキストLLMが、正しく表現された懸念情報の価値を測る比較に使われている」という設計も、本文を読んで初めて分かった。テキストLLM側の比較（transcript vs. transcript+ground-truth state）と、音声モデル側の比較（音声から情報をどれだけ行動に持ち込めるか）は、別の実験軸として設計されている。

評価対象の中心にあるQwen2.5-Omni-7Bについても、Hugging Face公式のモデルカードを確認した。これはテキスト・画像・音声・動画という複数のモダリティを入力として受け取り、テキストと自然な音声応答をストリーミングで同時に生成できる、エンドツーエンドのモデルだという。「Thinker-Talker」というアーキテクチャと、映像入力の時刻情報と音声を同期させる「TMRoPE（Time-aligned Multimodal RoPE）」という位置埋め込み手法を採用しており、ライセンスはApache-2.0と明記されている。つまりHear2Actが主要な評価対象に選んだのは、単に音声を文字に変換してからテキストLLMに渡す構成ではなく、音声を含む複数モダリティを直接扱うよう設計されたモデルであり、それでもなお「音声から読み取った懸念を明示的なテキスト表現に変換しないと行動に反映されにくい」という結果が出た点は、モデル側の設計だけでは解決していない課題があることを示唆している。

本文にはさらに、「音声合成を経ても、意図した懸念の対比がちゃんと残っているか」を人間が検証する工程（Speech-Layer Validation）も記載されている。2人の注釈者が、各音声レンダラーにつき100発話を独立に判定し（RESOLVED/UNRESOLVEDが均等になるようサンプリング）、この判定結果とQwen2.5-Omni-7B自身の知覚結果を突き合わせることで、「合成音声を感情の正解データそのものとして扱う」のではなく、意図した対比が実際に音声化後も伝わっているかを別途確認する設計になっている。統計処理は、シナリオ単位でペアにした条件差を2,000回のブートストラップ再抽出で95%信頼区間を計算する方式が使われている。

音声AI導入時に確認すべきポイント

音声によるカスタマーサポート・コールセンターAIを導入・検討している場合、この論文は「音声入力に対応している」というだけでは不十分で、口調から読み取った懸念を明示的な中間表現として扱う設計になっているかどうかが、実際の対応品質を左右することを示している。単に音声を文字起こしして処理するパイプラインでは、言葉にされていない苛立ちや不安のようなシグナルを取りこぼす可能性が高い、という具体的な指摘は、音声AIの導入時に確認すべきポイントになる。

480シナリオの音声サンプルは聴けていない

本記事は、arXiv本文PDF（付録含む）を通読して書いている。ベンチマークの規模・評価対象モデルの具体名は本文から確認できたが、480のペルソナつきシナリオの個別の中身（各シナリオの具体的なドメイン・懸念の内容）や、実際に生成された音声サンプルそのものは、本記事のためには聴取していない。人間による評価（Appendix E記載とされる、有志の大学院生による生成音声クリップの判定）についても、その具体的な手順や評価者間一致率までは今回読み込んでいない。日本語の音声・韻律にこの結果がそのまま当てはまるかどうかも、本文からは判断できない（実験は英語の音声・テキストで構成されているとみられるが、この点も本記事では言語設定を明示的に確認した記載を見つけられていない）。Zenn記事検索(2026年8月27日実施)では該当する日本語記事は見つからなかった。