検索で拾った文書が実は自分の書いた文章だった──RAGシステムの79.6%が崩壊する『RAG Collapse』

AIが生成したコンテンツがインターネット上に大量に流通するようになった今、検索拡張生成(RAG)を使うAIエージェントが、検索ツールで拾ってきた「参照文献」が実は自分自身(あるいは同種のAI)が書いた文章だった、という状況が起こりうる。この自己参照ループがもたらす影響を実証した論文が、2026年8月22日にarXivで公開された。

モデル崩壊のRAG版

論文はまず前提を確認する。

"LLM responses are based on the internet (via training or RAG), and AI is now used to generate a significant amount of content online (Paredes et al., 2026), creating the potential for a self-reinforcing feedback loop."

LLMの応答は(訓練経由であれRAG経由であれ)インターネットに基づいており、AIは今やオンラインコンテンツの相当量を生成するのに使われている。これが自己強化型のフィードバックループを生む可能性を作り出す。

先行研究では、LLMを自分自身の出力で再帰的に訓練すると「モデル崩壊(Model Collapse)」が起きる——応答の多様性が失われ、最終的には元の訓練データに似なくなる——ことが示されている。この論文は、訓練ではなくRAGの参照先が自著文書だった場合にも、似た崩壊が起きることを示す。

"We call this RAG collapse."

これを「RAG Collapse」と呼ぶ。

数字:1,528回のシミュレーションのうち79.6%が崩壊

論文の実験規模は大きい。3つのモデルファミリー、1,019件の情報探索プロンプトを使い、AIシステムが自ら生成した参照文献を検索ツール経由で拾ってしまう状況を3種類シミュレートし、合計1,528回のシミュレーション・100万回超のLLM API呼び出しを行っている。

"find that 79.6% (1,216/1,528) of simulations end in collapse."

その結果、1,528回のシミュレーションのうち1,216回、実に79.6%が崩壊に至った。とりわけ目を引くのは、崩壊を引き起こすのに必要な自著参照の数だ。

"Surprisingly, even a single self-authored reference can trigger collapse because the LLM disproportionately cites its own content. This self-bias persists even after controlling for reference quality."

驚くべきことに、たった1件の自著参照だけでも崩壊を引き起こしうる。これはLLMが自分自身のコンテンツを不釣り合いに多く引用してしまうためだ。この自己バイアスは、参照文献の質を統制した後でも持続する——つまり、他の文献より優れているから自分の文章を引用するのではなく、単に「自分が書いたものだから」引用してしまう傾向がある、ということになる。

論文はこの現象を、先行研究が示した「モデル崩壊」の再帰学習ループとの類似性で位置づけている。モデル崩壊は、AIが生成したデータをそのまま次の訓練データに使い続けることで、モデルの出力が徐々に多様性を失っていく現象だ。RAG Collapseは、訓練ではなく検索の段階で同種の自己参照が起きる点が異なるが、「AI自身の出力が、AI自身の判断材料として再帰的に使われる」という構造そのものは共通している。ウェブ上のコンテンツにAI生成物が占める割合が増えるほど、検索ツールが意図せず自著文書を拾ってしまう確率も上がっていくと考えられ、この論文が示す79.6%という崩壊率は、今後さらに悪化していく可能性を含んだ数字だと言える。

長期運用するRAGで起きうること

社内文書検索やWeb検索を組み合わせたRAGシステムを長期運用している場合、この論文は「AIが過去に生成した回答・レポートが、後の検索対象として拾われ、それを参照してまた似た回答を生成する」というループが応答品質を静かに劣化させるリスクを裏付けている。特に、AIが生成したブログ記事やレポートが検索インデックスに蓄積されていく環境では、時間の経過とともにこのリスクが高まる可能性がある。RAGの基本設計についてはRAG(検索拡張生成)とはを、AIの再帰学習による品質劣化の先行研究については「モデル崩壊」をNature論文の実例で読むを参照してほしい。

100万回のAPI呼び出しの内訳は見ていない

本記事は、当サイトが論文の要旨を読んで書いている。実験対象とした3つの具体的なモデルファミリー名、1,019件のプロンプトの内容、「崩壊」の定量的な判定基準(応答の多様性をどう測定したか)は、要旨には詳細が記載されておらず、本文PDF(36ページ・図31点)を読み込んでいないため確認できていない。「参照文献の質を統制した」という記述の具体的な統制方法も要旨からは分からない。事前の候補調査記録によれば、Google検索で「stanford rag collapse」「rag semantic collapse」といったサジェストが出るというが(本記事側で改めて検索し直してはいない)、これは別のスタンフォード発「semantic collapse」概念を指している可能性が高く、この論文固有の命名への言及かどうかは確認できていない。Zenn記事検索(2026年8月27日実施)では該当する日本語記事は見つからなかった。