長く話すほどAIは劣化する──「Context Rot」をChromaの技術レポートで読む

「コンテキスト窓が100万トークンあります」という宣伝文句を聞くと、そこに入る情報ならどこにあっても同じように処理してもらえる、と考えたくなる。だが、ベクトルデータベース企業Chromaが2025年7月14日に公開した技術レポート「Context Rot: How Increasing Input Tokens Impacts LLM Performance」は、その前提自体が成り立たないことを、18のフロンティアモデルを対象にした検証で示している。著者はKelly Hong氏・Anton Troynikov氏・Jeff Huber氏。

• レポートは「Needle in a Haystack拡張実験」4種類に加え、実際の会話履歴を使うLongMemEval、単語の反復再生を使うRepeated Wordsという、合計6種類の検証を行っている。全実験を通じて、入力長が増えるほど性能が一貫して低下する
• LongMemEval実験では、関連部分だけ渡した「focused」入力(平均約300トークン)と、無関係な文脈込みの「full」入力(平均約113,000トークン)を比較。Claude系モデルはfocused/full間の性能差が最も大きく、曖昧さがある時に「分からない」と回答を保留する傾向が原因とされる
• Repeated Words実験では、GPT-3.5 Turboが60.29%のタスクをcontent_filterで拒否したため評価対象から除外された。Claude Opus 4は「著作権のあるコンテンツを再現するリスク」を理由に、単語の反復再生タスク自体を拒否する例が確認されている

前提：なぜ「均等に処理できる」と思われてきたか

レポートの冒頭は、近年のLLMが入力コンテキスト長を数百万トークンまで伸ばしてきた経緯に触れる。Gemini 1.5 Proが2024年初頭に100万トークンのコンテキスト窓を初めて導入し、続いてGPT-4.1の100万トークン、Llama 4の1,000万トークンが続いた。長いコンテキストが魅力的なのは、1回の呼び出しでより多くの情報を処理し、より情報量の多い出力を生成できるからだ。

この能力を測る定番のベンチマークが「Needle in a Haystack（NIAH、干し草の山から針を探す）」だ。ランダムな事実（針）を長い無関係なテキスト（干し草）の中に置き、モデルにその事実について質問する。多くのモデルはこのテストでほぼ満点を取るため、「長いコンテキストの処理はもう解決済みの問題」という認識が広まっていた。

Chromaが指摘する問題：NIAHは「単純な検索」しか測っていない

レポートは、NIAHが本質的には単純な字句一致による検索タスクであり、実際の長文脈タスク（エージェントのタスクや要約など）が要求する、より広く曖昧な情報に対する処理・推論を代表していないと指摘する。そこでChromaは、NIAHを拡張した実験を含む4種類の統制された実験を設計し、意図的にタスクの複雑さを一定に保ちながら、入力長だけを変化させて、その影響を単独で測定した。

実験1：Needle-Question類似度

一つ目の実験は、「針」と「質問」の意味的な類似度を、埋め込みのコサイン類似度で定量化し、これが性能にどう影響するかを見るものだ。

たとえばNoLiMaという先行研究のように、字句が一致しない「潜在的な関連付け」を要求する質問・針のペア（例：質問「どのキャラクターがヘルシンキに行ったことがあるか」に対して、針は「実はYukiはKiasma美術館の隣に住んでいる」）は、モデルにHelsinki＝Kiasma美術館の所在地という世界知識と、その関連付けの両方を要求する。

Chromaの検証結果は明確だった。

"We find that as needle-question similarity decreases, model performance degrades more significantly with increasing input length."

針と質問の類似度が低いほど、入力長の増加に伴う性能低下がより顕著になる。短い入力長では、類似度が低いペアでもモデルは高い性能を示すが、入力が長くなるにつれてこの差が開いていく。

実験2：ディストラクター（惑わし要素）の影響

二つ目の実験は、「針」に加えて、意味的には関連するが正解ではない「ディストラクター」を混ぜた場合の影響を検証している。ディストラクターなし（ベースライン）、1個のディストラクター、4個全てのディストラクターという3条件を比較した結果、次のことが分かった。

"Even a single distractor reduces performance relative to the baseline (needle only), and adding four distractors compounds this degradation further."

1個のディストラクターだけでもベースラインより性能が下がり、4個加えるとさらに悪化する。しかもディストラクターの影響は均一ではなく、特定のディストラクターが他より強く性能を落とすことも確認された。

興味深いのは、モデルファミリーごとに失敗の仕方が異なる点だ。レポートはこう報告している。

"Claude models consistently exhibit the lowest hallucination rates. Specifically, Claude Sonnet 4 and Opus 4 are particularly conservative and tend to abstain when uncertain, explicitly stating that no answer can be found. In contrast, GPT models show the highest rates of hallucination, often generating confident but incorrect responses when distractors are present."

Claudeモデル群は一貫して幻覚率が最も低く、特にClaude Sonnet 4とOpus 4は不確実なときに保守的になり、「答えが見つからない」と明示的に表明する傾向がある。対照的にGPTモデル群は幻覚率が最も高く、ディストラクターが存在すると自信満々だが誤った回答を生成することが多いという。

実験3：Needle-Haystack類似度

三つ目の実験は、「針」と「干し草（周囲の無関係なコンテキスト）」自体の意味的な類似度が性能に影響するかを検証している。従来、無関係なコンテキストは単に入力長を稼ぐための中立的な埋め草とみなされてきたが、Chromaの結果は「均一ではない効果を持つ」ことを示した。

実験4：干し草の構造（Haystack Structure）

四つ目の実験では、干し草を構成する文章が論理的な流れを保っているか（オリジナル）、それとも文がランダムに並び替えられているか（シャッフル）を比較した。結果、干し草の構造パターンは、モデルが長い入力をどう処理するかに一貫して影響を与えることが分かった。

実験5：LongMemEval（実際の会話履歴での検証）

これまでの4実験はいずれも人工的に構成された「Needle in a Haystack」の拡張版だったが、レポートはより現実に近い設定として、チャットアシスタントの長期記憶を測るベンチマーク「LongMemEval」も使っている。LongMemEvalの元論文（arXiv:2410.10813、情報抽出・複数セッション推論・時間推論・知識更新・回答保留という5つの長期記憶能力を測るベンチマーク）は、要旨の中で「商用チャットアシスタントと長文脈LLMは、持続的なやり取りをまたいだ情報の記憶において30%の精度低下を示す」と述べている。Chromaのレポートは、このLongMemEvalを使って「なぜ精度が落ちるのか」の一因（無関係な文脈が検索と推論を同時に要求すること）を切り分けようとしている、という位置づけになる。

チャットアシスタントに会話履歴を丸ごとプロンプトへ含める素朴な実装では、モデルは「会話履歴の中から関連部分を見つける（検索）」と「見つけた内容を使って質問に答える（推論）」という2つのタスクを同時にこなす必要がある。Chromaはこれを2条件で比較した。

• Focused input：関連部分だけを渡す（平均約300トークン）。モデルは推論だけに集中できる
• Full input：無関係な文脈を含む、LongMemEvalの113,000トークンのフル入力をそのまま渡す。モデルは検索と推論を同時にこなす必要がある

LongMemEval_sデータセットから知識更新・時間推論・複数セッションのカテゴリに絞り、曖昧すぎる38件を除いた306件のプロンプトを使用。採点にはGPT-4.1をLLM審査員として使い、人間の判定との一致率は99%を超えていたという。

結果は、focused入力の方がfull入力より一貫して高い性能を示した。中でも顕著だったのはClaude系モデルで、レポートはこう報告している。

"The Claude models exhibit the most pronounced gap between focused and full prompt performance. This discrepancy is largely driven by abstentions that arise with ambiguity, leading to model uncertainty... This behavior is most evident in Claude Opus 4 and Sonnet 4, which appear to be particularly conservative under ambiguity."

Claude系モデルはfocused/full間の性能差が最も大きく、これは主に曖昧さに直面した際の「回答保留」によるものだという。レポートが挙げる実例では、ガーデニング教室に参加した日とトマトの苗を植えた日の間隔を尋ねる質問に対し、Claude Sonnet 4（非thinking）が「該当する日付が会話履歴に見当たらないため判断できません」と答えを拒否している——実際には正解(6日または7日)を導ける情報が含まれていたにもかかわらず、である。GPT・Gemini・Qwen系モデルでも同様に「focused input の方が性能が高い」傾向は確認されたが、Claudeほどの極端な差ではなかった。thinkingモードを有効にすると両条件で性能は向上するものの、focused/fullの差自体は最新モデルでも残る、とレポートは述べている。

実験6：Repeated Words（単語の反復再生）

最後の実験は、モデルに単語の並びをそのまま再生させるという単純なタスクを使う。これまでの実験は出力が短く固定されていたのに対し、この実験では入力長が長くなるほど出力長も比例して長くなるという特徴がある。

結果は「入力長が増えるほど全モデルで一貫して性能が低下する」というものだったが、レポートが特に注目しているのは、モデルが「タスクへの取り組み自体を拒否する」パターンが全モデルファミリーで見られた点だ。

• GPT-3.5 Turboは、finish_reason='content_filter'によってタスクの60.29%を拒否したため、この実験の評価対象から完全に除外された
• Claude Opus 4は、この実験群の中では性能低下が最も緩やかな一方、唯一「タスクを拒否する」挙動が確認されたモデルでもある(拒否率2.89%)。拒否理由として「著作権のあるコンテンツを再現するリスクがある」ことを挙げる例が報告されており、レポートが引用する実際の出力には「'San Francisco'という文字列の反復のようですが、要求通りに一字一句再現することは避けるべきだと思います。著作権のある文章をそのまま再現するテストに使われる可能性があるためです」という趣旨の応答がある

つまりRepeated Wordsのような単純作業でも、モデルは単に「性能が落ちる」だけでなく、安全側の判断でタスクそのものを拒否することがあり、その拒否の傾向・理由づけはモデルファミリーごとに大きく異なる。

6つの実験の見取り図

検証の規模

レポートによれば、針の種類・干し草のトピック・干し草の構造の全組み合わせについて、各モデルを8段階の入力長×11箇所の針の位置で検証している。評価対象は温度パラメータ0（一部モデルは非対応または非推奨のため除外）で、モデルの最大コンテキスト窓全体をカバーしている。総LLM呼び出し数のうち、モデルがタスクへの回答を拒否したケースは194,480回中69回（0.035%）で、たとえばClaude Opus 4がstop_reason="refusal"で空の出力を返す例が報告されている。

結論部分の要旨

レポートは実験全体の結果を、次の5点にまとめている。

1. 全ての実験を通じて、モデルの性能は入力長の増加とともに一貫して低下する
2. 針と質問の類似度が低いほど、性能低下の速度が増す
3. ディストラクターはモデル性能に不均一な影響を与え、それぞれのディストラクターがどれだけ惑わせるかは相対的に異なる。この影響は入力長が増えるほど顕著になり、モデルごとに反応の違いが見られる
4. 針と干し草の類似度は、モデル性能に不均一な効果を持ち、さらなる調査が必要
5. 干し草の構造パターンは、モデルが長い入力をどう処理するかに一貫して影響する

なぜこれが実務に効くのか

このレポートの含意は、「コンテキスト窓が広いから、とにかく全部詰め込めばいい」という発想への警鐘だ。実際のアプリケーション（エージェントのタスクや要約など）は、レポートが使った実験よりもはるかに複雑であることが多く、その場合には入力長の影響がさらに強く出る可能性がある、とレポート自身が指摘している。だからこそ、思慮深いコンテキストエンジニアリングと検索（retrieval）が、これまで以上に重要になる、というのがChromaの結論だ。

Anthropicが2025年9月29日に公開した公式エンジニアリングブログ「Effective context engineering for AI agents」を直接確認すると、この「context rot」という言葉そのものが引用されている。「Needle-in-a-haystack形式のベンチマーク研究が、context rotという概念を明らかにした。コンテキスト窓内のトークン数が増えるにつれ、そのコンテキストから情報を正確に呼び戻すモデルの能力は低下する」と述べたうえで、「一部のモデルは他より緩やかに劣化するが、この特性はすべてのモデルで現れる」と続けている。Anthropicはこれを踏まえ、コンテキストを「限界効用が逓減する有限のリソース」として扱うべきだと位置づけている。コンテキストエンジニアリングとはで扱った考え方の技術的な裏付けの1つが、このChromaのレポートだと言える。

検証したのは2025年時点のモデル世代、最新版は未確認

• 本記事はChroma公式の技術レポート、その再現用GitHubリポジトリ、LongMemEvalの元論文(arXiv)、Anthropic公式ブログの4本を確認している。レポート本体は2025年7月14日付けで、2026年に入ってからの追加検証・アップデートがあるかどうかは本記事では確認していない。GitHubリポジトリ自体も「再現用ツールキットを含む」という説明文レベルの確認にとどまり、実際にコードを実行して結果を再現する検証はしていない。
• レポートが検証したのは2025年時点でのGPT-4.1・Claude 4・Gemini 2.5・Qwen3などの世代のモデルであり、これより新しい世代のモデル（例えば2026年7月24日公開のClaude Opus 5やGemini 3系）でも同様の傾向が続いているかどうかは、本記事のソースからは確認できていない。
• レポートは「実世界のアプリケーションはこの実験よりもさらに複雑なので、入力長の影響はより強く出る可能性がある」と述べているが、これは推測であり、実際のプロダクション環境での定量データではない。
• Chroma社はベクトルデータベース（検索システム）を提供する企業であり、「長いコンテキストより検索が重要」という結論は、同社のビジネス上の立場と整合する主張でもある点は留意しておきたい。ただし、レポート自体の実験設計・データ・コードは公開されており（GitHub: chroma-core/context-rot）、追試可能な形になっている。