正解ラベルなしで自分を鍛え直す──U-OPSDはモデルの多数決だけを教師にして数学ベンチマークを8.5〜10.7%押し上げた

大規模言語モデルの事後学習（post-training）では、正解ラベルや環境からのフィードバック、あるいはより大きなモデルからの指導を使う手法が一般的だ。だが2026年8月6日にarXivで公開された論文は、こうした外部からの監督を一切使わず、モデル自身の生成結果だけを頼りに自己改善する手法「U-OPSD」を提案している。arXivのHTML全文に記載された所属情報によれば、著者はYijiang Li氏・Nuno Vasconcelos氏（いずれもUC San Diego）、Bingyang Wang氏（Georgia Institute of Technology）、Yijun Liang氏（University of Maryland, College Park）、Yunjie Tian氏・Di Fu氏（いずれもByteDance）の6名。著者らはGitHub（williamium3000/u-opsd）にリポジトリを公開しているが、本記事執筆時点（2026年8月31日）で中身はREADME・LICENSE・.gitignoreのみで、README.mdには「Code will be available soon（コードは近日公開予定）」と記されており、学習コード自体はまだ公開されていない。

3行まとめ

• U-OPSDは正解ラベルなしで、モデル自身のG=8ロールアウトの多数決（閾値τ=0.5）を疑似正解にして自己蒸留する手法
• Qwen3-4B/8Bの非思考モードでAvgスコアがベースの40.96→49.49、43.57→54.31まで向上し、正解ラベルを使うOPSD・GRPOも上回った
• 著者らのアブレーションでは、論文のデフォルト閾値τ=0.5（Avg57.10）よりτ=0.3（Avg58.59）の方が高スコアで、デフォルト設定が最適とは限らないと自ら報告している

「自己」蒸留のはずなのに、外部の監督に頼っていた

論文はまず、既存の「On-Policy Self-Distillation」という名前の手法群が抱える矛盾を指摘する。

"On-policy (Self-)Distillation (OPD / OPSD) has shown strong potential for post-training large language models (LLMs). However, existing methods still rely heavily on external supervision, including ground-truth signals, environmental feedback, or guidance from larger models, and therefore fall short of genuine "self"-distillation."

（オンポリシー（自己）蒸留（OPD/OPSD）は、大規模言語モデルの事後学習において強い可能性を示してきた。しかし既存の手法は、正解信号・環境フィードバック・より大きなモデルからの指導といった、外部からの監督に依然として大きく依存しており、真の「自己」蒸留には至っていない）

つまり、「自己蒸留」と名付けられていながら、実際には何らかの外部の答え合わせ材料に頼っていた、というのがこれまでの手法の実態だ、という指摘だ。

内的整合性だけで自己蒸留を実現する

U-OPSDが示すのは、この外部監督への依存を断ち切る具体的な方法だ。

"In this study, we show that on-policy self-distillation can be achieved using only a model's own generations via internal consistency. We propose unsupervised on-policy self-distillation (U-OPSD). U-OPSD first samples multiple rollouts and constructs a pseudo solution by majority vote under a self-consistency threshold. It then conditions the model's distribution on the pseudo-solution and distills itself on the disagreeing completions, allowing the model to correct itself precisely where it is confidently wrong."

（本研究では、オンポリシー自己蒸留が、モデル自身の生成結果だけを使い、内的整合性を通じて達成できることを示す。教師なしオンポリシー自己蒸留（U-OPSD）を提案する。U-OPSDはまず複数のロールアウトをサンプリングし、自己整合性の閾値の下で多数決による疑似解を構築する。次に、モデルの分布をその疑似解に条件付け、疑似解と食い違う（disagreeing）出力に対して自身を蒸留することで、モデルが自信を持って間違えている箇所を正確に修正できるようにする）

仕組みを整理すると、①モデルに同じ問題を何度も解かせる、②多数派の答えを「仮の正解」とみなす、③少数派（多数決と食い違う）の出力について、モデル自身にその仮の正解へと寄せるよう学習させる、という3段階だ。「自信を持って間違えている箇所を正確に修正する」という表現が、この手法の核心を表している——多数決で明らかに外れている自信満々の誤答を狙い撃ちで直す、という設計だ。

数字：非思考モードで8.5〜10.7%、思考モードでもGRPOを上回る

論文の実験結果は、5つの数学推論ベンチマーク（AIME24、AIME25、HMMT25、MATH500、AMC23）で示されている。

"On five mathematical reasoning benchmarks, i.e., AIME24, AIME25, HMMT25, MATH500, and AMC23, U-OPSD improves over the base model by 8.5% and 10.7% on Qwen3 non-thinking mode at 4B and 8B scales, and outperforms OPSD by 3.2% and 2.3% on average, respectively."

（5つの数学推論ベンチマーク——AIME24、AIME25、HMMT25、MATH500、AMC23——において、U-OPSDはQwen3の非思考モードで、4Bスケールで8.5%、8Bスケールで10.7%、ベースモデルからの改善を達成し、平均でそれぞれ3.2%・2.3%、既存手法OPSDを上回った）

思考モード（reasoning mode）でも同様の傾向が確認されている。

"In thinking mode, U-OPSD stays on par with OPSD, ahead by 0.9% at 4B and level at 8B and surpassing GRPO by 0.7% and 1.1%, respectively."

（思考モードでは、U-OPSDはOPSDと同等の水準を維持し、4Bでは0.9%上回り、8Bでは同水準で、GRPOをそれぞれ0.7%・1.1%上回った）

正解ラベルという「答え合わせの手がかり」を一切使わない手法が、正解ラベルを使う既存の教師あり手法（OPSD、GRPO）と同等かそれを上回る結果を出している、という点がこの論文の主張の核心だ。

論文本文（PDF）のTable 1・Table 2には、5ベンチマークの平均スコア（Avg.）が手法・モデル規模ごとに掲載されている。正解ラベルを使う手法（w/ GT.）と使わない手法（w/o GT.）を並べると次のようになる。

出典: arXiv:2608.06296 Table 1（PDFをpdftotextでテキスト抽出）

この表から分かるのは、正解ラベルなしの既存手法（TTRL・RENT・Intuitorなど）はベースモデルからの改善が最大でも1.5%程度にとどまるのに対し、U-OPSDだけが正解ラベルありのOPSD・GRPOを上回っている点だ。論文は、この差の理由を「多数決による疑似解をスカラー報酬に潰すのではなく、トークンレベルの蒸留の教師コンテキストとしてそのまま使っていること」に帰している。

思考モード（Table 2）ではU-OPSDはQwen3-4Bで77.05、Qwen3-8Bで77.99とベースモデル比+2.2%・+1.9%にとどまり、非思考モードほどの伸びは見せていない。論文はこれを「思考モードのモデルはすでに強く、改善の余地(headroom)が小さいため」と説明している。また、指示調整済みモデル（Table 3）でもQwen3-30B-A3B-Instruct-2507が75.77→77.46、Qwen3-4B-Instruct-2507が67.00→68.78まで伸びているが、Qwen3-4B-Instruct-2507ではHMMT25・MATH500・AMC23の3ベンチマークでOPSDの方が上回っており、U-OPSDが常に全指標で勝っているわけではない。

ハイパーパラメータ：G=8ロールアウト・閾値τ=0.5、だが著者ら自身が「最適ではない」と認める設定

論文本文の「Implementation details」節には、要旨だけでは分からなかった具体的な設定が記載されている。1つのプロンプトに対してG=8個のロールアウトを独立に生成し、多数決で過半数（τ=0.5）に達したものだけを疑似正解として採用する。学習率5×10⁻⁶、LoRA（rank 64、α=128）、サンプリング温度1.1・top-p 0.95・top-k 20、150ステップで25ステップごとにチェックポイント評価、という設定でOPSDの学習レシピをほぼそのまま踏襲している。

興味深いのは、論文自身のアブレーション実験（Figure 4）が、デフォルトの閾値τ=0.5を最適とは報告していない点だ。テキスト抽出したPDFの記述によれば、τ=0.3で58.59、デフォルトのτ=0.5で57.10、τ=0.9では44.40と、閾値を緩めるほどスコアが上がる単調な傾向が見られ、その差は14.2ポイントに達するという。同様にロールアウト数Gについても、G=4とG=8はほぼ同水準（56.99 対 57.10）で、G=12はデフォルトより4.7%上回るとしている。論文はG=8を採用した理由を「OPSD自身の生成予算に合わせ、Table 1・2での比較条件をそろえるため」と説明しており、性能だけを追求するなら別の設定の方が良い可能性があることを著者ら自身が示している。

なぜこれが重要なのか

正解ラベル付きのデータセットを用意することは、多くの実務的な場面でコストのかかる作業だ。特に、正解が明確に定義しにくいタスク（創造的な文章生成や、専門性の高い判断など）では、正解ラベル自体を作ること自体が困難な場合もある。U-OPSDのようなアプローチが実用的な性能を出せるなら、ラベル付けのコストをかけずにモデルを改善できる可能性がある。ただし、この論文の実験対象は数学推論という「多数決による疑似正解が機能しやすい」領域に限られており、正解が一意に定まりにくいタスクへの適用可能性は別途検証が必要だと考えられる。

多数決が機能しやすいタスクだからこその結果という見方

筆者は普段、AIモデルの改善というと「より良いデータで再学習する」というイメージを持っていたが、U-OPSDが示しているのは「モデル自身の多数決」という、追加データを一切必要としないアプローチだ。数学のような「答えが1つに定まりやすく、複数回解かせれば多数派が正解に近づきやすい」タスクだからこそ機能する側面が大きいと考えられ、この手法をそのまま主観的な判断が絡むタスクに適用できるかは、慎重に見る必要があると感じている。

GitHubのコードは実行していない、Figure 4の元データも読み取り値の再確認はしていない

この記事は論文本文（PDF）をpdftotextでテキスト抽出して読み、要旨だけでなくImplementation detailsやアブレーション節の記述まで反映した。τ=0.3で58.59・デフォルトτ=0.5で57.10・τ=0.9で44.40・差14.2ポイント、G=4とG=8が56.99対57.10、G=12がデフォルトより4.7%上回るという数値は、arXivのHTML全文（本文の地の文）でも同じ数値を確認できた。ただし、GitHub上のリポジトリ（williamium3000/u-opsd）は本記事執筆時点でコード自体が未公開（README.mdに「Code will be available soon」と明記）のため、実際にクローンして学習を再現したわけではなく、Table 1〜3の数値やτ・Gのアブレーション結果は論文の報告をそのまま転記したものであり、独立に再計算・再現したものではない。Figure 4は棒グラフとして提示されており、その中の数値はグラフに添えられた本文中の記述で読み取ったもので、グラフ画像そのものをピクセル単位で読み取り直す検算はしていない。数学推論以外のタスク（コーディングや一般的な対話など）での検証結果については、本文中にも記載が見当たらなかった。Zenn記事検索（2026年8月27日実施）では「U-OPSD」に該当する日本語記事は見つからなかった。

関連記事

• ファインチューニング やり方・費用・いつ使うべきか【2026年入門】
• LLMベンチマークの読み方──MMLU・HumanEval・Arenaの注意点【2026年版】
• ローカルLLMとは何か──自分のPCでAIを動かす仕組み・利点・始め方を解説