ハルシネーション対策の『ご褒美』設計が壊れる場所──強化学習が抱える『Noisy Factual Credit Assignment』

LLMのハルシネーション(幻覚)を減らすため、検証可能な報酬による強化学習(RLVR)に、事実性を評価するプロセス監督(途中経過ごとの評価)を組み込む手法が広まっている。最終的な出力の正誤だけでなく、生成の途中段階で事実に即しているかどうかを逐次チェックし、それを報酬として与えることで、モデルにより事実に忠実な生成を促そうという発想だ。しかし、この「ご褒美」の与え方自体に見落とされてきた歪みがあると指摘する論文が、2026年8月25日にarXivで公開された。

「事実の検証」と「学習の更新」がズレる

論文はまず、既存手法の課題をこう説明する。

"due to coarse-grained aggregation of factual signals and the lack of reliability assessment for these signals, they create a mismatch between fact verification and policy updates."

事実性のシグナルを粗い粒度で集約し、それらのシグナルの信頼性を評価する仕組みが欠けているために、事実検証とポリシー更新の間にミスマッチが生まれる。著者らはこの問題を次のように定義する。

"We term this noisy factual credit assignment and decompose it into two aspects: credit localization ambiguity and credit reliability ambiguity."

これを「noisy factual credit assignment(ノイズの多い事実的クレジット割り当て)」と呼び、「クレジット局在化のあいまいさ」と「クレジット信頼性のあいまいさ」の2側面に分解する。前者は「どのトークン・どの箇所の生成に対して報酬・罰を与えるべきか」が曖昧になる問題、後者は「その事実判定自体がどれだけ信頼できるか」が評価されないまま報酬に反映されてしまう問題を指していると考えられる。事実性のプロセス監督自体が、文単位・段落単位といった粗い粒度で行われることが多いため、生成の途中のどこに問題があったのかを正確に特定できず、結果として的外れな箇所に報酬・罰が割り当てられてしまう、という悪循環が生まれやすい。

FARCA:トークン単位まで報酬を絞り込む

対策として提案されたのが「FARCA(Fact-Aligned Reliability-Aware Credit Assignment)」というポリシー最適化フレームワークだ。事実性の監督を、局所化され信頼性で重み付けされたトークンレベルの訓練信号に変換する。事実検証の粒度とポリシー更新の粒度を揃えることで、細やかなクレジット局在化を実現し、さらに「反実仮想的な証拠帰属(counterfactual evidence attribution)」という手法を導入している。これは、ある事実判定が特定の重要な証拠にどれだけ依存しているかを、検証の信頼性を測る経験的な代理指標として使い、信頼性の重みを算出する仕組みだ。この重みによって、事実に基づく報酬と局所的なポリシーのアドバンテージを調整し、信頼性の低いシグナルが学習に与える影響を減らす。

この設計思想は、人間の評価にたとえるとイメージしやすい。上司が部下の仕事全体に対して「良い/悪い」という大雑把な評価だけを下すのではなく、どの作業のどの部分が良かったのか・その判定自体がどれだけ確信を持てるものかまで踏み込んで評価する、という違いに近い。粗い集計だけに頼る強化学習は、本当は改善すべきでない箇所にまで罰を与えたり、逆に本当の問題箇所を見逃したりしやすく、FARCAはこのズレを事実性の学習という文脈で是正しようとする試みだと言える。

数字:事実性を改善しつつ推論能力は維持

"Experiments across different models and multiple factual reasoning benchmarks show that FARCA significantly improves model factuality while preserving general reasoning capabilities."

異なるモデル・複数の事実推論ベンチマークにわたる実験で、FARCAはモデルの事実性を有意に改善しつつ、一般的な推論能力を保つことが示された。ハルシネーション対策の手法にありがちな「事実性は上がるが、他の能力が犠牲になる」というトレードオフを避けられている、という主張だ。

事実性重視の学習パイプラインを組むなら

社内でLLMをファインチューニング・強化学習で事実性重視に調整している場合、この論文は「事実チェックの粒度」自体が学習の質を左右するという、見落とされがちな設計変数を示している。単に「正しいか間違っているか」の粗い報酬を与えるだけでなく、どの部分の生成が事実判定に効いているかを局所化し、その判定自体の信頼性まで加味するという発想は、自前で事実性重視の学習パイプラインを組む際の参考になる。ハルシネーションの原因と対策全般についてはLLMのハルシネーション(幻覚)とはを参照してほしい。

使用したモデル名は要旨に出てこない

本記事は、当サイトが論文の要旨を読んで書いている。実験に使用した具体的なモデル名、複数の事実推論ベンチマークの名称、「反実仮想的な証拠帰属」の具体的な計算方法は、要旨には詳細が記載されておらず、本文PDFを読み込んでいないため確認できていない。改善幅の具体的な数値(何ポイント改善したか)も要旨には記載がなく、本記事では触れていない。Zenn記事検索(2026年8月27日実施)では「Noisy Factual Credit Assignment」「FARCA」に該当する日本語記事は見つからなかった。