モデルもプロンプトも変えていないのに答えが変わる──RAGの『Accuracy-Blind Answer Churn』を監査する

RAG(検索拡張生成)システムの検索対象インデックスを更新しただけで、モデルもプロンプトも何も変えていないのに、同じ質問への回答が変わってしまうことがある。この見えにくい不安定さを定量化した論文が、2026年8月24日にarXivで公開された。

「正解率だけを見ていると変化を見逃す」問題

論文はまず状況を説明する。

"A retrieval-augmented QA system can return different answers after an index expansion even when its requested model identifier, prompt, retrieval policy, evidence depth, rendering, and exposed generation controls are held fixed."

検索拡張型の質問応答システムは、モデルID・プロンプト・検索ポリシー・証拠の深さ・レンダリング・公開されている生成コントロールをすべて固定していても、インデックスが拡張されただけで異なる答えを返すことがある。集計された正解率だけを見ていると、この変化は「得点した分と失点した分が相殺し合って見えなくなる」ことがあり、また通常の生成ばらつきのために、一度きりの比較では更新の影響を過大評価してしまうこともある。

著者らはこの隠れた現象と、それを測るための監査手法を定義する。

"We call the hidden phenomenon accuracy-blind answer churn and introduce the \emph{Snapshot Compatibility Audit}, which estimates excess answer churn by subtracting same-snapshot repeat disagreement from cross-snapshot disagreement."

隠れた現象を「accuracy-blind answer churn(正解率からは見えない答えの変動)」と呼び、「Snapshot Compatibility Audit(スナップショット互換性監査)」という手法を導入する。これは、同一スナップショット内での繰り返し不一致を、スナップショット間の不一致から差し引くことで、「超過した」答えの変動を推定する仕組みだ。

数字:正解率はほぼ動かないのに、意味論的な変動は10ポイント超

論文は、1つの固定されたFineWebのプレフィックスを、1シャードから7シャードへと拡張する形でこの監査を実装している。

"In a preregistered 400-question Natural Questions study, normalized-exact and blinded-semantic excess churn are 6.44 and 10.25 percentage points while exact-match accuracy changes by only $-1.50$ points."

事前登録された400問のNatural Questions実験では、正規化した完全一致ベースの超過変動が6.44ポイント、意味論的判定(盲検)ベースの超過変動が10.25ポイントに達した一方、完全一致による正解率の変化はわずか-1.50ポイントにとどまった。つまり、正解率という単一の指標だけを見ていれば「ほとんど変わっていない」と判断してしまうところに、実際には1割強もの意味論的な変動が隠れていたことになる。事後分析では、繰り返しても安定して同じ答えに反転してしまう「意味論的な反転」が400問中40問で見つかっている。TriviaQAを使った200問の追加実験でも、方向性は一致する超過変動が(より小さいながら)確認され、完全一致による正解率はむしろ逆方向に動いた。別のDeepSeek生成器・サービング構成を使った100問の再現実験でも8.75ポイントの意味論的な超過変動が見られ、この現象は特定のモデル・実験構成に限った偶然ではないことがうかがえる。論文が導入した「Snapshot Compatibility Audit」の考え方の核心は、同一スナップショット内での繰り返し試行(モデルの生成そのものが持つゆらぎ)と、スナップショットをまたいだ変化(インデックス更新の影響)を切り分ける点にある。この切り分けをせずに単純に「更新前後で回答が変わったかどうか」だけを見ると、インデックス更新の影響を実際より過大に、あるいは過小に見積もってしまうことになる。

インデックス更新後に確認すべきこと

社内向けにRAGシステムを構築・運用している場合、この論文は「検索インデックスを更新した後、正解率のような集計指標だけを見て『問題なし』と判断するのは危険」という具体的な警告を含んでいる。インデックス更新のたびに、個々の質問への回答が実際にどう変わったかをサンプリングして確認する、繰り返し確認による「安定した反転」を見つける、といった監査プロセスを組み込む価値がある。RAGの基本設計はRAG(検索拡張生成)とはを、ベクトルデータベースの比較はベクトルデータベースとはを参照してほしい。

7シャードの中身までは踏み込めていない

本記事は、当サイトが論文の要旨を読んで書いている。FineWebのプレフィックスを1シャードから7シャードに拡張する際の具体的なデータ内容、意味論的判定(blinded-semantic)の採点方法の詳細、DeepSeek生成器の具体的なバージョンは、要旨には記載がなく、本文PDFを読み込んでいないため確認できていない。「盲検」による意味論的判定がどの程度人手を介しているかも要旨からは分からない。Zenn記事検索(2026年8月27日実施)では「Answer Churn」に該当する日本語記事は見つからなかった。