AIの事実誤りは「知らない」のではなく「思い出せない」──Google Researchのrecall仮説を読む

「AIが事実と違うことを答えるのは、そもそもその知識を持っていないからだ」という理解は、半分しか正しくないかもしれない。Google Researchが2026年8月12日に公開したブログ記事は、LLMの事実誤り（ハルシネーション）を、知識が「無い（empty shelves）」のか、知識はあるのに「引き出せない（lost keys）」のかという2つの原因に切り分ける「knowledge profiling」という評価枠組みを紹介している。著者はNitay Calderon氏とGal Yona氏。

3行まとめ

1. Google Researchが「knowledge profiling」という評価枠組みを紹介するブログを2026年8月12日に公開。LLMの事実誤りを「知識が無い」ケースと「知識はあるのに思い出せない」ケースに切り分ける。
2. 関連論文（arXiv 2602.14080）のabstractによると、13モデル・400万応答を分析した結果、GPT-5とGemini-3はベンチマーク上の事実の95〜98%を「encode（内部に符号化）」している一方、recall（想起）が主要なボトルネックとして残るとしている。
3. 論文自体の投稿は2026年2月15日（v2は6月19日）で、8月に新規発表された研究ではない。8月に新しいのはGoogle Researchのブログ記事の方だ。

「知らない」と「思い出せない」を分ける枠組み

ブログのタイトル「Empty shelves or lost keys?」は、この枠組みの核心を比喩で表している。本棚に本自体が無い（empty shelves＝知識そのものが学習データに無い、あるいはモデル内に符号化されていない）のか、本棚に本はあるが取り出す鍵を無くしている（lost keys＝知識は内部にあるのに、質問への応答としてうまく引き出せない）のか。この2つは、外から見ると同じ「間違った答え」として現れるが、原因が異なれば対策も異なる、というのがブログの問題意識だ。

論文の数字:符号化率は高いが、recallがボトルネック

Google Researchのブログが参照している論文（arXiv 2602.14080）のabstractをそのまま確認すると、13モデル・400万応答という規模で分析が行われている。abstractの記載によれば、検証に使ったベンチマーク上で、GPT-5とGemini-3は事実の95〜98%を「encode」している。つまり、モデル内部にはその事実に関する情報が存在すると判定される。それにもかかわらず、recall（その情報を実際の応答として正しく引き出すこと）が主要なボトルネックとして残る、という結果が示されている。

この結果が意味するのは、「モデルの学習データを増やせば事実誤りは減る」という単純な処方箋だけでは不十分な可能性がある、ということだ。知識は既に内部にあるのに、それを引き出すプロセス（recall）の方に改善の余地が残っているとすれば、対策の方向性はデータ量の拡大とは別のところにあることになる。

論文本文で確認できた実際の数字

論文本文（arXiv 2602.14080のHTML版）をcurlで取得すると、abstractには出てこない具体的な数字が確認できた。評価に使ったベンチマーク「WikiProfile」は、Wikipediaから抽出した2,150件の事実それぞれに10問ずつ質問を割り当てたもので、質問は「符号化（encoding）を測る2種類」「知識（knowledge）を測る4種類」「事実検証能力を測る4択式4種類」に分かれる。ベンチマーク自体もGemini-2.5-Pro（thinking有効）を使った自動パイプラインで構築されたと明記されている。

（数値は論文本文の"5.1 The Recall Bottleneck"「5.3 Thinking as a Recovery Mechanism」節からcurl取得・目視で抽出。）

特に興味深いのは、モデルのパラメータ数を増やすスケーリングは「符号化」の改善には効くが「recall」の改善には効きにくく、むしろエラーに占めるrecall失敗の割合が相対的に増える、という逆説的な結果だ。Gemma3ファミリーの実験でこの傾向がはっきり示されている。もう1点、拡張思考（thinking）を使うと、レアな事実や逆方向の質問（例：通常の質問順序を逆転させた形式）でrecallが特に改善する、という結果も出ている。これは本記事が以前書いた「プロンプトの書き方を工夫すれば引き出せる可能性がある」という推測に、具体的な裏付け（thinkingモードの使用）を与えるものだ。

論文自体は2月投稿、8月に新しいのはブログ

ここで一つ注意すべき点がある。arXiv 2602.14080の投稿日は2026年2月15日で、v2（改訂版）は6月19日付だ。つまり論文そのものは8月の新作ではない。今回8月12日付で新しく出たのは、この研究成果を一般向けに解説するGoogle Researchのブログ記事の方だ。「8月のニュース」として扱うなら、この点を区別して書く必要がある。

arXivのアブストラクトページを確認すると、投稿者はNitay Calderon氏で、著者は同氏を含めてEyal Ben-David氏・Zorik Gekhman氏・Eran Ofek氏・Gal Yona氏の合計5名。ブログ記事の署名は「Nitay Calderon and Gal Yona, Research Scientists, Google Research」の2名のみで、残り3名の共著者はブログ本文には登場しない。分野はComputation and Language（cs.CL）が主分野、Artificial Intelligence（cs.AI）が副分野として登録されている。

ベンチマーク「WikiProfile」はHugging Faceで公開されている

ブログ記事のQuick Linksには、論文リンクと並んで「WikiProfile」というリンクがあり、辿るとhuggingface.co/datasets/google/WikiProfileというGoogle公式のデータセットページに行き着く。ライセンスはCC-BY-SA-4.0。データセットの説明文には、具体的な「事実」の作り方の例が挙げられている。

"Each fact is grounded in the first paragraph (summary) of an English Wikipedia page and is defined as a proposition between two entities, a subject and an object (e.g., "Oasis played their first gig at the Boardwalk club" → subject: Oasis, object: …)"

（訳）「それぞれの事実は、英語版Wikipediaページの最初の段落（要約）に基づいており、主語と目的語という2つの実体（エンティティ）間の命題として定義される（例：『Oasisは最初のライブをBoardwalkクラブで行った』→主語：Oasis、目的語：…）」

データセットのフィールド構成（fact_id・page_id・page_title・item_id・gbc・creation_date・category・summary・contextual）も公開されており、gbcというフィールド名から、事実ごとの知名度・言及頻度のような指標（本文の「人気の高い事実／レアな事実」という区分に対応するとみられる）が個別に付与されている構造がうかがえる。データセットの説明文には「2,150 facts, each paired with 10 questions, for a total of 21,500 question instances」ともあり、論文本文で確認した「2,150件・1件あたり10問」という数字が、合計21,500件の質問インスタンスに対応することも確認できた。

論文は「5.4 Connections to Human Cognition」という節で、この現象を人間の記憶研究になぞらえてもいる。「言葉がのどまで出かかっているのに思い出せない」現象（tip-of-the-tongue phenomenon）や、「答えを見れば分かるはずなのに、いま思い出せと言われると出てこない」感覚（feeling-of-knowing）と、encoded-but-not-known（符号化されているが想起できない）という今回の分類は類似の構造を持つ、という指摘だ。論文自身も「厳密に主張しているわけではない（we do not claim）」と留保をつけたうえでの類推であることは明記しておく。

なぜハルシネーション対策として読む価値があるか

「AIはなぜ間違えるのか」というテーマは、AIを実務で使う人にとって常に関心の高いテーマだ。論文本文で確認した限り、「プロンプトの書き方を工夫すれば知識を引き出せる可能性がある」という方向性には、拡張思考（thinking）モードの使用によるrecall改善という具体的な裏付けがあった。ただし論文が検証しているのは「thinkingを使う・使わない」の比較であり、「どう書けば良いプロンプトか」という具体的な文言レベルのテクニックまでは踏み込んでいない。

論文本文は読んだが、実運用への応用は確認できていない

• 本記事はGoogle Research公式ブログ、論文本文（arXiv 2602.14080のHTML版、Results節・Discussion節を含む）、arXivアブストラクトページ、Hugging Face上のWikiProfileデータセットページをcurlで取得して確認している。ただし論文の全付録（Appendix A〜E、プロンプトの詳細、追加実験）まではすべて読み込んでおらず、本文の主要な結果節（5.1〜5.3）を中心に確認した。gbcフィールドが具体的に何の略で、どう算出されているかは、データセットページの説明文からは確認できなかった。
• knowledge profilingという評価枠組みが、実際のプロダクト開発（ハルシネーション対策）にどう応用されているか・される予定かについては、ブログ・論文のいずれにも具体的な記載がなく、確認できていない。
• 「なぜthinkingがrecallを改善するのか」について、論文は3つの候補メカニズム（応答の多様性によるサンプリング効果／複数事実からの推論／recall facilitation＝符号化された事実そのものへのアクセス補助）を挙げているが、どれが主因かの決定的な結論は、この記事で確認した範囲では見当たらなかった。
• 論文自体は2026年2月投稿（v2は6月19日）であり、8月に何らかの新しい実験・アップデートが加わったのかどうかは本記事では確認できていない。

関連記事

• 長く話すほどAIは劣化する──「Context Rot」をChromaの技術レポートで読む
• Gemini 3.7 Flashを発表──3.6から3週間・導入価格は半額の0.75ドル
• オープンウェイトとは何か──「オープンソース」との違いを一次資料で読み解く