拡散言語モデルは『やり直させる』と自分の答えの信頼度が分かる──PDCという検証手法

普段使うClaudeやGPTのような大規模言語モデルは、文章を左から右へ1トークンずつ生成する「自己回帰（AR）」型が主流だ。だが近年、文全体をノイズ除去（デノイジング）で徐々に確定させていく「拡散言語モデル（DLM）」が、一部のタスクでARモデルに迫る、あるいは上回る性能を見せ始めている。arXivで2026年8月26日に公開された論文（arXiv:2608.25311）は、このDLM特有の生成プロセスを使った推論時の自己検証手法を提案している。

論文PDF本文（21ページ）を確認すると、著者4名の所属はMBZUAI（Mohamed bin Zayed University of Artificial Intelligence、UAE）・名古屋大学・理化学研究所AIP（RIKEN AIP）の3機関だった。

3行まとめ

• PDC（Prefix-Denoising Consistency）は、拡散言語モデル（DLM）が持つ「正しい軌跡は再生成しても同じ答えに戻りやすい」という性質を使った、追加学習不要の推論時検証手法。プレフィックスの保持率ρ∈{0.1, 0.5, 0.9}の3通りで再生成し、多数決（初回の答えは投票に含めない）で最終回答を決める
• Dream-7B・LLaDA-8B-Instruct・LLaDA-1.5という3種のDLMを、GSM8K・MATH-500・SVAMP・CSQA・SQAの5ベンチマークで評価。15の モデル×データセットの組み合わせ中14で初回生成（INIT）を上回り、最大+5.68ポイントの改善を確認
• 既存の最有力手法TIF（temporal voting）や、同じ計算量で4回独立生成する自己整合性（Self-Consistency）と比較しても、15件中13〜14件で上回った。ただし全設定で勝っているわけではなく、1〜2件では引き分けまたは劣る結果も報告されている

• DLMはARモデルと違い、左から右への順序を持たず、反復的なデノイジングで出力を生成する。この性質を使い、いったん生成した文章の一部（プレフィックス）を固定し、残りの部分だけを再生成させる「プレフィックス条件付き再生成」を行うと、正しい軌跡の方が誤った軌跡よりも再生成結果が安定・再現しやすいという傾向を発見
• この傾向を使った検証手法「PDC（Prefix-Denoising Consistency）」を提案。生成済みサンプルを中間位置で分割し、固定したプレフィックスをもとに残りのトークンを再生成させることで、正しさの指標として使う
• 数学的推論・常識推論のベンチマークで、初回生成からの一貫した改善を確認。同じ計算量制約のもとでの独立な複数回生成との比較でも上回り、異なるアンマスキング戦略・パラメータ設定に対しても頑健だったと報告されている

「正しい答えほど、やり直しても同じ答えに戻る」という性質

論文のアブストラクトはこう説明している。

PDC exploits a distinctive test-time signal in DLMs under prefix conditioned regeneration, correct trajectories are more stable and reproducible than incorrect ones.

（PDCは、プレフィックス条件付き再生成のもとでDLMが持つ独特のテスト時信号を利用する：正しい軌跡は、誤った軌跡よりも安定し再現性が高い）

これは直感的にも理解しやすい仮説だ。モデルが正しい推論に到達している場合、途中から「やり直して」と言われても同じ結論に収束しやすい。逆に、誤った経路をたまたまなぞって出した答えは、再生成のたびにブレやすい。PDCはこの「再生成での安定性」を、正しさを推定するシグナルとして使う。

手順：分割して、固定して、再生成する

具体的な手順は、まず通常通り初期サンプルを1つ生成し、その文を中間の位置で分割する。前半（プレフィックス）を固定条件として、後半部分だけをモデルにもう一度デノイジングで再生成させる。この再生成の安定性（元の後半とどれだけ一致するか）を見て、その軌跡の信頼度を推定する、という流れになる。

論文本文（Figure 1）を確認すると、この「プレフィックスをどこまで保持するか」の割合ρは、実際には0.1・0.5・0.9という3段階で試されている——文の最初の10%だけ固定して残り90%を再生成する場合、50%固定、90%固定という3通りだ。それぞれの再生成結果から得られた3つの候補の答えについて、多数決（majority vote）で最終的な答えを選ぶ。この投票には、最初に生成した初回の答え自体は含まれず、あくまで3回の再生成結果だけで多数決を取る、という設計になっている（初回の答えは分析用に記録はされる）。

追加の学習は不要で、DLM特有の生成メカニズムをそのまま使う検証手法という位置づけだ。

評価結果——モデル名・データセット名・具体的な改善幅

論文本文の「Models and datasets」節を確認すると、評価対象は次の3つのDLMだった。

• Dream-7B（Dream-org/Dream-v0-Instruct-7B）
• LLaDA-8B-Instruct（GSAI-ML/LLaDA-8B-Instruct）
• LLaDA-1.5（GSAI-ML/LLaDA-1.5）

評価に使われたベンチマークは、数学的推論のGSM8K・MATH-500・SVAMP、常識推論のCSQA（CommonsenseQA）・SQA（StrategyQA）の5つ。デコード温度は主要な結果で0.2に固定されている。

この3モデルがそれぞれどういう素性のモデルかを、Hugging Face公式のモデルカードで確認した。Dream-7Bは香港大学NLP研究室（HKUNLP）が開発し、Apache-2.0ライセンスで公開されている「トップクラスの性能を持つオープンな拡散大規模言語モデル」と説明されている。LLaDA-8B-Instructは、公式モデルカードによれば「8Bスケールとしては前例のない規模で、ゼロから学習し、LLaMA3 8Bに匹敵する性能」を持つとされ、MITライセンスで公開されている。今回の比較で最も改善幅が大きかったLLaDA-1.5は、このLLaDA-8B-Instructをベースに、「分散削減選好最適化（Variance-Reduced Preference Optimization、VRPO）」という手法で追加学習したモデルで、モデルカードには「LLaDA-8B-Instructと比較して、数学・コード・アライメントを含む幅広いタスクでより高い性能を達成する」と明記されている。つまり、PDCの評価で使われた3モデルは「素のDream-7B」「ゼロから学習したLLaDA-8B」「それをVRPOで追加調整したLLaDA-1.5」という、由来の異なる3系統のDLMだったことになる。

Table 1（各モデル・データセットの組み合わせで、初回生成の精度が最も高くなる生成長を選んだ上での比較）から、代表的な結果を抜粋すると次の通りだった。

Dream-7Bでは5データセットすべてでPDCがINITを上回り（+0.98〜+2.05ポイント、平均+1.27ポイント）、LLaDA系列では10組中9組で上回り、残り1組（LLaDA-1.5のCSQA）は同点だった（平均+1.73ポイント）。

さらに、同じ計算量予算のもとで比較する実験（Table 2、生成長128・4回分のデノイジング予算）では、4回独立生成して多数決を取る「Self-Consistency（INITx4）」と比較し、PDCは15設定中14で最高または同点最高、13設定でINITx4を上回った（最大+9.25ポイント、LLaDA-1.5のGSM8Kで56.63%→65.88%）。ただしCSQAのLLaDA-1.5では-0.41ポイントとわずかに下回る設定もあり、常にPDCが勝つわけではない、という点も本文の数字から確認できる。

また、デコード温度をより確率的な1.0に上げた頑健性チェックでは、PDCが15設定中12で最高精度となり、INITx4に対して平均+4.98ポイント上回ったと報告されている。異なる「アンマスキング戦略」（デノイジングでどの順にトークンを確定させていくか、DreamはOrigin unmasking・LLaDA系列はランダムremasking）を使った場合でも、全モデル・全生成長でPDCが最高精度を記録したとする表（Table 3）もあった。

なぜこの手法が拡散言語モデル特有なのか

論文は結論として「プレフィックス条件付き再生成は、DLM特有のテスト時検証のための効果的なプリミティブ（基本要素）である」と位置づけている。ARモデルは生成の順序が固定されているため、途中から条件を変えて「同じ箇所を再生成」させるという操作自体の意味合いが異なる。DLMという生成方式の違いが、そのまま新しい検証手法の土台になっている点が、この論文の技術的な要点だ。

手元で拡散言語モデルを動かしての再現検証はしていない

本記事は論文PDF本文（21ページ）を情報源としている。モデル名・ベンチマーク名・具体的な改善幅の数値はいずれも本文のTable 1〜3を直接確認して記載した。ただし、論文の理論的な証明部分（Section 2、V3関数の単調性を使った改善条件の導出など）の数式レベルの妥当性までは検証しておらず、この記事では結果の紹介にとどめている。自分の手元で拡散言語モデル（Dream-7BやLLaDA系列）を実際にダウンロードして動かし、PDCの効果を再現する検証も行っていない。TIF（比較対象のベースライン手法）の原論文「Time Is a Feature: Exploiting Temporal Dynamics in Diffusion Language Models」（arXiv:2508.09138）のabstractページは確認したが、TIF自体の手法の中身（デノイジングの時間的ダイナミクスをどう利用しているか）まで詳しく読み込んではおらず、本記事では「PDCが比較対象とした既存の最有力手法」という位置づけの紹介にとどめている。

関連記事: RAG（検索拡張生成）とは / AIエージェントとは / Claude・GPT・Gemini API料金の読み方

感想・指摘はコメント欄へ。