「VoiceMem」とは何か──音声対話AIに「左脳」と「右脳」を分けて持たせる記憶アーキテクチャ

3行まとめ

• VoiceMemは音声対話向けの記憶アーキテクチャで、316問・53時間分の音声対話で構成する新規ベンチマーク「ChatMem-Bench」でLLM審査スコア平均68.73点を獲得し、比較対象10システム中最高だったMemOS（53.95点）を14.78ポイント上回った。
• 検索コストの効率化を主張する数字として、K=5の設定でVoiceMemは430トークン・134ミリ秒でスコア91.2に達し、最強のベースラインEverMemOSは1,899トークン（約4.4倍）を使って83.13点にとどまるとしている。
• GitHub（xzf-thu/VoiceMem、Star数375）でpip install voicememとして実際に公開されており、学習データセット「VoiceMem-ChatMem400k」もHugging Faceで確認できた。ただし手元でのインストール・実行検証は行っていない。

二重通話（duplex）方式の音声言語モデル（SLM）のような対話システムには、ストリーミングで正確、かつ共感的な記憶システムが「魂」として欠けている。2026年8月26日にarXivで公開された論文「VoiceMem: Streaming Dual-Brain Memory for Real-Time Interaction」（南洋理工大学・シンガポール国立大学・清華大学・香港中文大学・Open Interaction Lab）は、この欠落を埋める記憶アーキテクチャを提案している。

「情報の左脳」と「感情の右脳」を並列に持たせる

VoiceMemは、並列に動く情報系の「左脳」、感情系の「右脳」、そしてストリーミングのメモリ入出力機構からなるシンプルな記憶アーキテクチャだ。論文は、記憶を意識したSLM学習・長期評価・記憶バックエンドを差し替え可能にした分離型デプロイメントまでを含む完全なパイプラインを構築している。実験と実運用での展開を通じて、論文は3つの利点を報告している。

• 精度: top-5検索の設定で、左脳は代表的な既存システムMem0のtop-200設定を、ほぼ30ポイント上回った
• 感情面・個人適応: 短期・長期の感情的な帰属と、2ノードのペルソナモデリングを持つ右脳が、3つのペルソナベンチマークで最先端の性能を達成し、従来最良のシステムより総合スコアで4.29ポイント高かった
• リアルタイム性・低コスト: 検索を134ミリ秒で完了させ、標準的なVAD（音声活動検出）のレイテンシに十分収まる範囲で、追加の対話遅延を発生させることなく、高い精度と低コストを両立した

論文はこれらの結果から、VoiceMemがリアルタイムで、パーソナライズされ、感情を認識する音声インタラクションのための実用的な記憶基盤を提供すると結論づけている。

新規ベンチマーク「ChatMem-Bench」の実測スコア

論文はVoiceMemの評価のために「ChatMem-Bench」という新しい音声対話向けベンチマークを構築している。PDF本文によれば、15,314ターン・53時間の対話から抽出した316問を、Information（更新追跡・時間推論・統合・保留の4種）・Persona（プロフィール制約・嗜好整合の推薦・暗黙ニーズ推定）・Affective Attribution（感情の帰属）・Paralinguist&Environment（周辺言語・環境情報）の4分野14細分カテゴリに整理し、人手でセッションを作り込んだという。比較対象は10システム（Full-Context・Mem0・Zep・LangMem・A-MEM・MemoryOS・MemOS・MemoryBank・EverMemOS・Emotional RAG）で、いずれもGPT-4o-miniをバックボーンLLMとして使っている。Table 3のLLM審査スコア（%）平均を抜き出すと次の通り。

出典: arXiv:2608.26005 Table 3（ChatMem-Bench results, LLM-judge score）

VoiceMemは2位のMemOSに14.78ポイントの差をつけている。ただし「全文脈をそのまま渡すFull-Context」が45.96点と、10システム中5システムを上回っている点は興味深く、単純に長い文脈をそのまま渡すだけでも一部の記憶エンジンより成績が良いことを示している。

トークン効率──同等の精度をより少ない情報量で

論文はLoCoMoベンチマークでのK（検索件数）別の精度・コスト比較（Figure 5）でも具体的な数字を出している。VoiceMemはK=5の設定で、430個のメモリトークンと134ミリ秒の検索時間でスコア91.2に到達する。これに対し、比較対象の中で最も強いベースラインだったEverMemOSは、1,899トークン（VoiceMemの約4.4倍）を使ってようやく83.13点だとしている。論文はこの差を「+8.1ポイントを4.4分の1のトークン数で達成」と表現している。

なぜ「音声」だと記憶システムの設計が変わるのか

テキストのチャットボットであれば、応答に数秒かかっても違和感は少ない。しかし音声で会話している最中に、AIが過去の会話を思い出すのに何秒も止まってしまうと、不自然な間として即座に気づかれてしまう。論文が「VAD（音声活動検出）のレイテンシに十分収まる」と強調しているのはこのためだ。人間同士の会話でも、相手の発話が途切れてから次の発話が始まるまでの間隔（VADが検出する無音区間）は一般的に短く、その枠内に記憶の検索まで完了させる必要がある。テキストベースの記憶システムをそのまま音声対話に持ち込むと、この時間的な制約に間に合わないことがある、というのがVoiceMemの出発点になっている論点だ。左脳・右脳という比喩は、情報の正確な想起（左脳）と、感情的な文脈の想起（右脳）という2つの異なる種類の「記憶の質」を、並列に、しかし別々の仕組みで扱う設計を分かりやすく示すために使われている。論文本文にはVADの閾値を一般的な500ミリ秒とした場合、応答開始までに残る猶予は400ミリ秒程度で、VoiceMemの検索コスト134ミリ秒はその範囲に余裕をもって収まる、という具体的な数字での説明もあった。

pip install voicememで公開されている実装

GitHub（xzf-thu/VoiceMem、2026年8月17日作成、Star数375）とプロジェクトページ（xzf-thu.github.io/VoiceMem）を直接開くと、実装がpip install voicememとしてパッケージ公開されていることを確認できた。プロジェクトページに載っているサンプルコードは次のような形だ。

# 1. Install VoiceMem (ASR / voiceprint / scene / emotion / embedding built in)
pip install voicemem
from voicemem import VoiceMem
vm = VoiceMem(mode="normal", openai_key="api_xxx", top_k=5)
vm.warmup()  # local models are lazy-loaded

# 2. Ingest audio - ASR, voiceprint, scene, emotion and embedding run inside
vm.ingest(audio="assets/input.wav")  # "I'm vegetarian, allergic to nuts."

# 3. Search - pure vector retrieval, decoupled from ingestion
result = vm.search("What are my dietary restrictions?")
print(result.result_leftbrain, result.result_rightbrain)

学習データセット「VoiceMem-ChatMem400k」もHugging Face（zhifeixie/VoiceMem-ChatMem400k）で、ファインチューニング済みモデル（zhifeixie/VoiceMem_MF_Qwen3_6_35B_A3B_Qlora、Qwen3.6-35B-A3BベースのQLoRA）も別のHugging Faceリポジトリで実在を確認した。

手元でのインストール・実行検証はしていない

この記事はarXivの論文PDF本文（pdftotextでテキスト抽出）と、GitHub・Hugging Face・プロジェクトページの公開情報をもとに書いている。「Mem0をほぼ30ポイント上回った」「134ミリ秒」「430トークン対1,899トークン」といった数字は論文が報告した実験結果であり、手元ではこれらの測定がどのようなハードウェア・ネットワーク条件で行われたのかまでは確認できていない。GitHubリポジトリとpipパッケージが実在することはHTTPリクエストで確認したが、実際にpip install voicememを実行し、自分の音声データで検索・記憶の挙動を検証したわけではない。比較対象であるMem0・MemOS・EverMemOSなど各ベースラインシステムそれぞれの内部設計の詳細についても、この記事の範囲では深く踏み込んでいない。実際の対話中に「共感的だ」と感じられるかどうかという体験的な質は、スコアだけでは分からない部分であり、この記事でも検証できていない。

関連記事

• ChatGPT 音声会話モード 使い方・できること【2026年】
• OpenAI、全二重音声モデル『GPT-Live』を発表──聞きながら喋り、裏でGPT-5.5に委任する新設計
• ChatGPTメモリ機能の使い方──会話を覚えさせる設定【2026年】