ByteDanceが「見ながら聞きながら話す」全二重AIを実運用投入──音声だけのGPT系リアルタイムAIとの違いはどこにあるか

3行まとめ

1. ByteDance Seedは2026年8月5日、音声・映像・テキストを単一のエンドツーエンドモデルで扱う「SeedRealtime」を発表。外部の音声区間検出（VAD）に頼らず、映像の変化を検知してモデル側から先に話しかけられる
2. 実運用はByteDanceの消費者向けアシスタントアプリ「Doubao（豆包）」内で完結しており、MarkTechPostの検証によれば技術レポート・パラメータ数・重みの公開・Volcano EngineやBytePlusでの外部API提供のいずれも無く、第三者が組み込むことは現時点でできない
3. 効果の数字（「会話テンポ問題を半減」など）はすべてByteDance自身の人手評価によるもので、独立した第三者ベンチマークでの検証は確認できていない

「AIとリアルタイムで会話する」機能はGPT系の音声モデルで日本語圏でもよく話題になるが、映像も同時に見ながら会話するタイプの実装は、あまり扱われていない。ByteDance Seedが2026年8月5日に公開した「SeedRealtime」は、音声と映像を同時に扱う全二重（full-duplex）の会話AIだ。

何が新しいのか：半二重と全二重の違い

ByteDance Seed公式ブログ（curlで全文確認済み）は、リアルタイムの音声・映像対話がこれまで2つの方式に挟まれてきたと説明する。

• カスケード型: ASR（音声認識）・VLM（視覚言語モデル）・TTS（音声合成）を別々のモジュールとして連結する方式。段階間で遅延や情報の欠落が発生する
• エンドツーエンド型（従来）: より滑らかだが、多くは外部のVAD（音声区間検出）に頼ってターンを判断する、実質的には「半二重」（一問一答）の対話にとどまる

SeedRealtimeは、音・映像・タイミング・表現を単一のエンドツーエンドモデルの中で統合する。「聞いてから見て、最後に答える」のではなく、知覚・理解・意思決定・表現を、連続する音声・映像ストリームに対して並行して走らせる設計だという。

会話の間合いをどう判断するか

公式ブログは、この設計における2つの技術的課題を挙げている。

1. 会話のリズム: 音声には自然な間があり、応答のタイミングの手がかりになる一方、映像は常時変化し続ける。モデルは背景雑音による誤反応を避けつつ、画面上の何に注目し、誰の声を聞くべきか、いつ応答すべきかを常に判断し続ける必要がある
2. 音声・映像の統合的なモデリングと時間的整合: ユーザーが「これはどうやるの」と言った場合、現在の場面・ジェスチャー・視線・直前の行動から「これ」が何を指すかを特定する必要がある。同音異義語や不明瞭な発話も、視覚情報で曖昧さを解消する

モデルは視覚の変化（対象物の出現など）を検知すると、モデル側から先に話しかける能動的な発話にも対応する。

デモの中身──ByteDance公式ブログが挙げる7つの実演シーン

抽象的な機能説明だけでは分かりにくいので、公式ブログが挙げている実演シーンを表にまとめる。いずれも原文（英語版）を直接確認した内容。

これらは実際の製品デモとしてByteDanceが公開しているシーンで、いずれもByteDance側が選んで見せている例である点は踏まえておく必要がある。MarkTechPostはこの7シーンのうち、モダリティ融合の実証として意味があるのは「識別のモダリティ横断的な結びつき（食事会）」「保持した指示からの能動発話（博物館・ResNet論文）」「視覚状態からの訂正（エスプレッソ）」「雑音抑制とオフスクリーン記憶（空港）」の4つだと分析している。

実運用の場は「Doubao」アプリ内──重み・APIは無い

ByteDance公式ブログには「重み・API提供の有無」についての明記が無かったため、当初の記事ではこの点を「未確認」としていた。他の情報源を確認すると、この点はかなりはっきりしていた。

MarkTechPost（2026年8月9日）は次のように明言している。

"SeedRealtime is live inside the Doubao app, ByteDance's consumer assistant. For this specific model, ByteDance has published no technical report, no parameter count, no open weights, and no Volcano Engine or BytePlus endpoint. As a third-party team, you cannot integrate it as of now."

（訳：SeedRealtimeはByteDanceの消費者向けアシスタント「Doubao」アプリ内で稼働している。このモデルについて、ByteDanceは技術レポート・パラメータ数・オープンウェイト・Volcano EngineやBytePlusでのエンドポイントのいずれも公開していない。第三者チームとして、現時点でこれを組み込むことはできない）

つまりSeedRealtimeは、記事公開時点で中国国内向けの自社アプリ内デモ・実運用にとどまり、日本を含む第三者が外部からAPI経由で呼び出す手段は存在しない。AIReiterの記事も同様に「発売時点で公開APIも料金体系も無く、ByteDance自身の製品内でのみ提供されている」と評しており、複数の情報源で一致している。

AIReiterはさらに、ByteDanceの商用API窓口であるVolcengine（火山引擎）がSeed 2.1 Pro/Turbo・Seed-ASR・Seed-TTSなど他のSeedモデル群を提供している事実を確認したうえで、「SeedRealtimeは発売時点でこのラインナップに含まれていない」と指摘している。他モデルは商用API化されているのに、このモデルだけ意図的に自社アプリ内に留め置かれている形だ。

DataNorthは、この発表がMeta「Muse Spark 1.2」・NVIDIA「Alpamayo 2 Super」と同じ週に重なったと報じている。ただし前者はコーディング、後者は自動運転向けで、SeedRealtimeが狙う「連続的な現実世界とのやりとり」とは領域が異なる。

なお「無料かどうか」については情報源間で書き方に差がある。DataNorthは「Doubaoアプリ内では無料で、音声・映像会話に対応する」と明記する一方、AIReiterは「発売時点で価格の付いた単体製品・APIが無いため『無料か有料か』という問い自体がまだ成立しない」とする。両者は矛盾ではなく、消費者向けアプリ内の利用に価格は付いていないが、開発者が呼べる有料APIも存在しないという同じ状況の異なる面を指していると読める。

GPT-4o Realtime・Gemini Liveとの違いはどこにあるか

「AIとリアルタイム音声で会話する」機能はGPT-4oのRealtime APIやGoogleのGemini Live（開発者向けはLive API）ですでに知られているが、AIReiterはSeedRealtimeとの違いを次のように整理している。原文の比較表を確認したうえで訳出する。

つまり、GPT-4oやGemini Liveも低遅延のリアルタイム対話は実現しているが、扱うモダリティは基本的に音声中心で、カメラ映像は別扱いか消費者アプリ限定にとどまる。SeedRealtimeの主張の核は「映像をVADやカスケードの外側に置くのではなく、単一モデルの中でターン判断そのものに組み込んだ」という設計面の違いにある。ただしAIReiter自身も「この比較はByteDance自身のデモと評価に基づくもので、GPT-4o RealtimeやGemini Liveとの公開されたヘッドツーヘッド比較は存在しない。上表はアーキテクチャ上の位置づけであり、実測された優位性ではない」と明記しており、この記事もその留保をそのまま引き継ぐ。

効果の主張（ByteDance自己申告）

公式ブログは、エンドツーエンドの人手評価で、カスケード型と比べて「会話テンポの問題（相手の発話を遮ってしまう、間が空きすぎて反応が鈍く見える、背景雑音・雑談で誤って反応してしまうといった不自然な破綻）が半減した」と主張している。1回の会話を滑らかに最後まで完了できる確率も大きく向上したとしている。ブログ内には「すでに大規模展開が完了（fully rolled out）」との記載があり、音声・映像の全二重技術としては業界で初めての大規模実運用だとしている。

DataNorthはこの発表を要約し、「サンプル数・ベンチマーク表・完了率向上の具体的な数値のいずれも示されておらず、半減という主張を公開された手法と突き合わせて検証することは現時点でできない」と評している。パラメータ数やアーキテクチャの詳細も、単一モデルで音声・映像・テキストを扱うという説明を超える開示はないという。

公式ブログが挙げる今後の開発方針

公式ブログの末尾には、今後注力する方向性として4項目が挙げられている（curlで確認した原文を訳出）。

1. 低遅延化とより自然な間合い: 「聞く→理解する→答える」のエンドツーエンド遅延を圧縮し続け、割り込み・被せ・相づち・間といった会話の機微を「速いだけでなく、タイミングが合っている」形で再現する
2. より能動的な知覚と意思決定: 視覚・聴覚の継続的な理解をもとに、いつ念押しし、いつ情報を足し、いつユーザーが本当に必要な情報を渡すかを能動的に判断できるようにする
3. 複雑な多人数場面への頑健性: 雑音があり複数人が画面内にいる多者間会話でも、誰が話しているか・何を見ているか・誰に応答すべきかを確実に識別する
4. 「会話できる」から「行動できる」へ: ツール呼び出しを現実世界と接続し、モデルが会話・観察するだけでなく、調べ物・予約・タスク完了までユーザーを助けられるようにする

これらはByteDance自身が今後の課題として認めている項目であり、裏を返せば現時点のSeedRealtimeには低遅延化・能動判断・多人数頑健性・行動接続のいずれにも伸びしろが残っている、と読める。

「今すぐ使える」のはアイデアの方だ──MarkTechPostの評価

MarkTechPostは記事の結論部分で、SeedRealtimeが第三者に組み込めない現状を踏まえたうえで、こう評している。

"Is it deployable? It is partly deployable. [...] What is deployable right now is the idea: a validated reference architecture, and a moved goalpost for anyone shipping real-time voice-plus-camera products."

（デプロイ可能か？部分的には可能だ。[中略]今すぐ「デプロイ可能」なのは、アイデアの方だ——実証済みの参照アーキテクチャであり、リアルタイム音声＋カメラ製品を出そうとする全ての開発者にとっての目標水準が引き上げられた、ということだ）

つまりMarkTechPostの見立ては、「SeedRealtimeというモデル自体を今すぐ使えるわけではないが、『音声・映像を単一モデルでネイティブに融合しながら全二重会話を実現できる』という設計思想が実証されたこと自体が、業界の目標ラインを押し上げた」というものだ。同記事はさらに、公式ブログが挙げる7シーンのうち特に重要だとする4つを「モダリティ横断的な身元識別」「保持した指示に基づく能動発話」「視覚状態に基づく訂正（質問への回答ではなく）」「雑音抑制とオフスクリーン記憶」と、この記事の分類とほぼ同じ切り口で整理している。

数字の独立検証はできず、実際に触って確かめてもいない

• 効果に関する数字（「会話テンポの問題を半減」など）はすべてByteDance自身の人手評価によるもので、独立した第三者による再現検証は確認していない。評価の具体的なサンプル数・評価者数・採点基準も公式ブログには記載がなかった。
• 「Doubao（豆包）アプリで既に全展開済み」という点は複数の情報源で一致しているが、Doubaoの週間アクティブユーザー数など普及の規模については、本記事のソースの範囲では確度の高い数字を確認できなかったため記載していない。
• 筆者は中国本土向けのDoubaoアプリを実際には開いておらず、本記事で紹介した7つのデモシーンは、いずれもByteDance側が選んで公開した映像・説明文にもとづく。第三者による独立の追試（雑音の多い環境での再現性など）は確認していない。
• 日本語での対応状況・日本からのアクセス可否についての情報は、本記事の情報源には含まれていなかった。