正解にたどり着いたのに「記憶からは答えられない」が42.5%──長文書AIエージェントのAWM

長い文書を相手にする視覚的質問応答（VQA）エージェントは、候補ページを取得し、ページ画像を確認し、気づいたことを作業メモリに書き留め、最終的な答えを合成する、という手順で動く。この作業メモリの「質」を検証した論文が、arXivで2026年8月26日に公開された（arXiv:2608.25618）。著者はオスロ大学＋Bosch Center for AI、シュトゥットガルト大学＋Bosch Center for AI、香港科技大学（広州）、清華大学（複数名）の混成チーム。要旨だけでなくarXiv HTML版の本文も確認した。

3行まとめ

1. 42.5%という数字は「正解の証拠ページを直接与えた（EP-given）」条件での数字。一方、エージェント自身に検索させる通常の設定（full multi-turn）では、この「答えは合っているのにメモリからは答えられない」割合はむしろ低く25.0%だった。ページ探しの手間が省けるほど、メモリの独立性は下がるという逆説
2. ベースモデルQwen3-VL-4Bのメモリを、外部のGPT-4oで書き直すだけの実験（他条件は固定）で、最終回答精度が36.2→44.4、メモリのみでの正答率が30.2→44.8に上がった。空メモリではどちらもほぼゼロだったとも報告されている
3. 「最終回答の正しさだけ」を報酬にする強化学習（Answer-GRPO）は、SFTと比べて最終回答精度こそ上がるが、memory-missing correct率はむしろ17.7%→19.9%へ悪化する。AWM-GRPOはここに手を入れ、17.2%まで押し下げつつ最終回答精度も45.4に伸ばしている

• 従来の評価は「最終的な答えが正しいか」「証拠ページにアクセスできたか」しか見ておらず、エージェントが正しいページにたどり着き正解しても、ページの文脈を取り除いた後に残る作業メモリだけでは答えられないほど汎用的・不完全な内容になっている「メモリ品質の盲点」を見逃していると指摘
• この盲点を検出するための診断指標「メモリのみでの解答可能性（memory-only answerability）」を提案。質問と最終的な作業メモリだけで、読み手が答えられるかどうかを問う
• MMLongBench-Docというベンチマークでは、正解の証拠ページが与えられている条件でも、正解の42.5%は最終的な作業メモリだけからは答えられないという結果が出た。対策手法「AWM-GRPO」は、MMLongBench-DocとLongDocURLの2つのベンチマークで、RAGベースラインに対しそれぞれ8.1・11.9ポイントの精度改善を示している

「答えは合っているのに、メモには残っていない」問題

論文のアブストラクトが指摘する構図はこうだ。

An agent may reach the right page and answer correctly while leaving behind memory too generic or incomplete to support answering once page context is removed.

（エージェントは正しいページにたどり着き正しく答えることができる一方で、ページの文脈が取り除かれた後には答えを支えられないほど、汎用的または不完全な作業メモリを残していることがある）

これは実務上、地味だが厄介な問題だ。エージェントの最終回答だけを評価していると気づけないが、後から「なぜその答えになったのか」を作業メモリから追跡しようとした瞬間に、根拠が失われていることに気づく。長文書を扱うエージェントの監査可能性・説明可能性に直結する指摘だと言える。

AWM-GRPOという対策

提案手法「Answerable Working Memory（AWM）」は、終端の作業メモリを「解答可能な証拠成果物」として扱う。これをGRPO（Group Relative Policy Optimization、強化学習の一手法）の報酬に組み込んだのが「AWM-GRPO」で、最終回答が正しく、かつ作業メモリだけでも答えられる軌跡に、より高いアドバンテージ（優位性）を割り当てる仕組みになっている。最終回答の正しさを優先しつつ、メモリの解答可能性という副次的なシグナルを両立させる設計だと読める。

数字で見る改善幅

論文本文のTable 1は、最終回答の正誤とメモリの解答可能性を組み合わせた4つのケースを定義している。

論文が焦点を当てるのはこのうち「MMC（memory-missing correct）」で、$P_{mmc}$（正解のうちメモリだけでは答えられない割合）という指標で追跡している。ベースモデルQwen3-VL-4B（追加学習なし）を、MMLongBench-Docの答えられる問題500件の固定サブセットで測定した結果は次の通り。

興味深いのは、$P_{mmc}$がFull multi-turnの25.0%よりもEP-givenの42.5%のほうが高いという逆転だ。正解ページを検索する手間そのものを省いてやると、最終回答の精度はわずかに上がる（33.4%→36.2%）一方で、エージェントが残すメモリは「答えを支えられない」割合がむしろ増える。論文はこの結果を、ページアクセスと最終回答の正しさが揃っていても、独立して解答可能な作業メモリを保証しないことの証拠だと位置づけている。

さらに、メモリの質だけを差し替える対照実験（Table 3）もある。読み手（reader）と採点者（scorer）を固定したまま、terminal working memory（終端の作業メモリ）だけを条件によって変えると、空メモリでは最終回答・メモリのみ精度とも0近くまで落ち、4Bエージェント自身が書いた元のメモリでは36.2／30.2、GPT-4oにメモリを書き直させた場合は44.4／44.8まで上がったという。メモリの質を改善するだけで、モデルや評価者を変えずに両方の指標が上がる、という因果関係を示す実験になっている。

AWM-GRPOの最終回答精度（Table 4）は、MMLongBench-Docで53.9。これは直接入力（+10.4）・RAG Top-3（+8.1）・SFT（+4.7）・回答のみを最適化したAnswer-GRPO（+2.3）のそれぞれを上回る数字だ。LongDocURLでも、RAG Top-3比+11.9・SFT比+4.4・Answer-GRPO比+2.7としている。

そして、$P_{mmc}$そのものの推移（Table 5、1,082件のFull multi-turnトラジェクトリ）を見ると、次のような興味深い動きがある。

最終回答の正しさだけを報酬にするAnswer-GRPOは、SFTと比べて最終回答精度は上がる（40.8→43.2）ものの、$P_{mmc}$はむしろ悪化している（17.7%→19.9%）。「正解率を上げようとするほど、根拠が残らない答えが増える」という副作用が数字として出ている形だ。AWM-GRPOはこの悪化を17.2%まで押し下げつつ、最終回答精度もさらに45.4%まで伸ばしている。

ベンチマーク自体の難しさ：MMLongBench-Docは最良モデルでもF1 42.7%

AWMが使っているMMLongBench-Doc自体がどれくらい難しいベンチマークかも、独立に確認した定義論文（Ma et al., 2024）から分かる。1,062件の専門家アノテーション済み質問が、平均49.4ページ・2万971トークンという130件の長大なPDF文書をもとに作られており、証拠がテキスト・画像・グラフ・表・レイアウト構造といった複数の種類にまたがる。33.2%はページをまたいだ根拠を要する質問で、22.8%は意図的に「答えられない」質問として設計されている（幻覚検出用）。同論文は14種類の大規模視覚言語モデルで実験しており、最良のGPT-4oでもF1スコアは42.7%にとどまり、2位のGPT-4Vは31.4%だったと報告している。AWM論文で使われている「最終回答精度」は、このMMLongBench-Doc定義論文のF1スコアとは異なる評価プロトコル（AWM側の採点方式）によるものである点には注意が必要だが、ベンチマーク自体が長文書理解の中でもかなり難しい部類だという背景は共通している。

長文書処理・エージェントのメモリ設計への示唆

この論文が扱う問題は、Claude Managed Agentsの「メモリストア」のような、AIエージェントが長期的な作業記憶を持つ設計全般に通じる論点だ（当サイトで別途扱ったClaude Dreamsは、蓄積されたメモリの整理を扱う機能だが、この論文はそれ以前の「そもそも書き残された1件のメモリが自己完結して意味を持つか」という質を問うている）。エージェントの最終出力だけでなく、その根拠として残された作業メモリの独立した解答可能性を評価する視点は、社内向けの長文書処理エージェントを設計・監査する際の1つのチェック項目になり得る。

GRPO報酬の数式そのものと、GPT-4oのメモリ書き直しプロンプトは確認していない

• AWM-GRPOの4セルの報酬設計を規定する数式（本文3.2節「AWM reward instantiation」）は、本記事では数式レベルでは追っていない。「正解かつメモリが解答可能な軌跡に高いアドバンテージを割り当てる」という設計思想のみを紹介した
• Table 3のGPT-4oによるメモリ書き直し実験で、GPT-4oに実際どんなプロンプトを与えたかの詳細は、本記事では確認していない
• MMLongBench-Doc・LongDocURLというベンチマーク自体の作成経緯・問題数の全体像は、この論文とは別の定義論文に譲られていると見られ、本記事ではその定義論文までは遡っていない
• 自分の手元でAWM-Agentを動かし、長文書VQAタスクで実際にメモリの解答可能性を検証する作業は行っていない

関連記事: Claude Managed Agentsの「Dreams」 / RAG（検索拡張生成）とは / AIエージェントとは

感想・指摘はコメント欄へ。