Google ADK、ライブ・音声エージェントの評価を追加──模擬ユーザーがTTSで話し、音声返答をルーブリック採点

Google ADKに「ライブ・音声エージェントの評価」模擬ユーザーがGemini TTSで話し、音声の返答をルーブリックで採点。名前確認→生年月日の検証（ツール呼び出し）→予約案内の3段ワークフローを、会話計画とペルソナ（NOVICE等）で即興させるか台本どおりに回す。test_config.jsonのlive_model_configを外せば同じケースをテキストで実行、CI/CDにも

2026年9月27日公開執筆：AI時短ラボ約7分で読めます

GoogleのStephen Allen氏は2026年8月24日、ADKにライブ（音声）エージェントのネイティブ評価が入ったと解説した。プロンプトの微調整やモデル更新でツールが発火しなくなる、ターン間で文脈が抜ける、割り込みを無視する、といった回帰を、テキストエージェントと同じ評価ループで捕まえる。例はgemini-live-2.5-flash-native-audioの3つのライブエージェント（本人確認→生年月日を検証ツールで照合→予約案内）をWorkflowで直列にしたもの。評価セットは「会話シナリオ」（会話計画とペルソナを書き、模擬ユーザーが即興し計画達成で自ら終話）と「固定会話」を混ぜられる。test_config.jsonでlive_model_configを入れ、模擬ユーザーをllm_audio（ターン制御gemini-3.7-flash、音声合成gemini-3.1-flash-tts-preview）にし、ルーブリック判定（閾値0.7）で「予約を明かす前に本人確認したか」を採点。adk evalで回しCI/CDにも。

Google ADKに「ライブ・音声エージェントの評価」──模擬ユーザーがGemini TTSで話し、音声の返答をルーブリックで採点。名前確認→生年月日の検証（ツール呼び出し）→予約案内の3段ワークフローを、会話計画とペルソナ（NOVICE等）で即興させるか台本どおりに回す。test_config.jsonのlive_model_configを外せば同じケースをテキストで実行、CI/CDにも

2026年9月18日・日本時間時点の情報です。 Google Developersのブログ（8月24日）を読んだ。音声エージェントは「デモでは良かったのに本番で崩れる」が起きやすく、その回帰を測る道具が公式に入った記事。ADKの周辺はKotlin 1.0、Liveモデル側はGemini 3.8 Liveに。

3行まとめ

何が入ったか。 ADKにライブ評価がネイティブに入り、模擬ユーザーが発話を音声として話し、音声の返答を採点する工程を、テキストエージェントと同じ評価ループの中で回せる。背景は、昨日まで完璧に聞こえた振る舞いがプロンプトの微調整やモデル更新で静かに変わる（ツールが発火しない・ターン間で文脈が抜ける・割り込みが無視される）問題。

例の構成。 gemini-live-2.5-flash-native-audioで動く3つの単機能ライブエージェント──①「Sam」として挨拶しJohn Doe本人か確認、②生年月日を聞いて読み返し、validate_date_of_birthをYYYY-MM-DD形式で呼ぶ（モックで1985-07-12と照合）、③本人確認済みとして火曜16日15時のDr. Exampleの予約を案内し「Goodbye」で終話──をWorkflowのedgesで直列にする。引き継ぎの間も音声ストリームは開いたままで、セッション状態と履歴が次のエージェントに渡る。評価セット（JSON）は2種類を混ぜられる。会話シナリオはstarting_prompt・conversation_plan（「あなたはJohn Doe。生年月日を聞かれたら1985年7月12日と答え、予約の説明を聞いたら持ち物を尋ね、質問なしと言って終わる」）・user_persona（NOVICE＝高レベルの目的しか言わず、エージェントが会話を主導できるかを試す。ペルソナはプロンプト駆動で追加可）を書き、模擬ユーザーが計画を満たしたら自分で終話、max_allowed_invocationsで上限。固定会話は発話を台本どおり並べる。

設定と実行。 test_config.jsonにlive_model_config（timeout 300秒）を入れ、user_simulator_configを**llm_audioに（model＝gemini-3.7-flashがターン制御、audio_model＝gemini-3.1-flash-tts-previewが音声合成、voice_name「Kore」やlanguage_code「en-US」を変えて声や訛りへの耐性も試せる）。採点はrubric_based_multi_turn_trajectory_quality_v1（判定モデルgemini-3.7-flash・閾値0.7）で「通話全体で、予約の詳細を明かす前に名前を確認し生年月日を検証したか」のような自然言語ルーブリックを会話全体に当て、ターン単位の指標も付けられる。live_model_configを外せば同じケースがテキストモードで走る**。uv run adk eval …のCLIかAgentEvaluatorから呼べ、CI/CDに組み込める。ADK Webでも対話的に確認できる。

文字列一致でなくルーブリックで判定

音声の返答は「正しい言い方が何百通りもある」ので、文字列一致でなく**ルーブリック（自然言語の判定基準）**で意図を判定する、という設計。ハーネス・エンジニアリングの解剖の「複雑な課題はLLM判定で緩く」に対応する
模擬ユーザー側にも2つのモデル（ターン制御とTTS）が要り、評価1回でLive API・TTS・判定の3系統の課金が発生する。回数の見積もりは要る
日本語の声（language_code＝ja-JP）での動作は本文にない。Gemini TTSの対応言語次第で、筆者は確認していない
本人確認→ツール呼び出し→案内、という例は、コールセンター系のADKのReflectAndRetryと組み合わせる用途が想像しやすい

原文の設定値だけ確認し実行はせず

この記事の下調べで、筆者は9月18日にGoogle Developersのブログを取得し、モデル名・設定キー・ペルソナ名・閾値・CLIのコマンドがその原文にあることを確認した。ADKのサンプル（contributing/samples/live/live_workflow）は開いていない。筆者はADKのライブ評価を動かしていない。