「Co-RL」とは何か──正解データなしで、複数のAIが互いを採点し合いながら賢くなる仕組み

強化学習（RL）は言語モデル・視覚言語モデルの推論能力を伸ばす有力な手段になっているが、その最も強力な成功例の多くは、検証可能な報酬（verifiable reward）のような正解データへの依存が大きい。こうした正解ラベルは取得コストが高く、モデルの推論能力が人間には確実に評価しきれない領域まで進むほど希少になっていく。2026年8月18日にarXivで公開された論文「Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL」は、この依存を減らす方法として「協調マルチエージェント学習」を提案している。

3行まとめ

• arXiv:2608.17253は、パラメータを共有しない複数モデルを互いの出力から導いた報酬で同時に強化学習する「Co-RL」を提案。コードはApache 2.0ライセンスでGitHub公開済み（github.com/DrStranded/Co-RL）
• テキスト系の比較対象はTTRL・Intuitor・RENT・Co-rewarding-IIという4つのラベルフリー手法と、正解ラベルありのGRPO（GT-Reward）。評価は数学3種・コード3種・科学1種の計7ベンチマーク
• Qwen2.5-3Bでの実測値（HTML全文版から）は、Baseの平均40.7に対し、ラベルフリー最良のTTRLが47.3、Co-RL（Different family+）が49.3——正解ラベル付きのGT-Reward（47.4）を上回った

「自己採点」だけだと偏りが強化されてしまう

正解データへの依存を減らす既存のアプローチとして、モデルが自分自身の出力から報酬信号を導く「self-rewarding RL」がある。だが論文は、自己生成したフィードバックだけで学習を続けると、既存のバイアスや最適でない振る舞いを強化し、応答の多様性を下げ、最終的には応答が均質化して学習が崩壊（training collapse）してしまう、という問題を指摘している。

パラメータを共有しない複数モデルが、互いを採点する

Co-RLは、教師なしの推論能力が「協調的なマルチエージェント学習」を通じて創発しうることを示す枠組みだ。パラメータを一切共有しない複数のモデルを、互いの出力から導いた報酬で同時に強化学習する。論文が特に強調しているのは「コホート（集団）の多様性」の効果で、モデルファミリー・モデルサイズ・言い換えた学習サンプルという3つの軸で異質性（heterogeneity）を高めるほど、自己強化的なフィードバックループを引き起こす「相関した誤り」が減る、という発見だ。この多様性は、推論性能を一貫して改善し、振る舞いの多様性を維持し、学習崩壊を緩和する、と報告されている。

テキスト・マルチモーダル両方での改善幅

テキストのみとマルチモーダル両方の領域で、Co-RLはベースモデルおよび従来のラベルフリー手法を一貫して上回り、正解ラベルへのアクセスなしで教師あり手法と同等かそれを上回る性能を達成したとしている。具体的には、LLM向けの7つのテキストのみベンチマークで平均3.0〜8.6%、VLM向けの4つのマルチモーダルベンチマークで平均2.3〜7.2%の性能向上を報告している。

コードはApache 2.0ライセンスでgithub.com/DrStranded/Co-RLに公開されており、READMEを確認するとllm/（テキストLLM実験）とmllm/（VLM実験）の2ディレクトリに分かれ、Co-RLの3つの設定（Same family／Different family／Different family+）それぞれの学習コードとラベルフリーのベースライン実装が含まれていることが分かった。

実験設定：どのモデル・どのベンチマーク・どの比較対象か

論文のHTML全文版（arXiv:2608.17253のexperimental HTML）を読むと、要旨だけでは分からなかった実験の中身が具体的に書かれていた。

• テキストLLM：Qwen3-1.7B単体、Qwen2.5-3B×Llama-3.2-3B-Instructのペア、Qwen2.5-7B×Llama-3.1-8B-Instructのペアを使用。学習データはMATHのレベル3〜5split
• VLM：Qwen2.5-VL（3B/7B）・InternVL3.5（2B/8B）・Gemma-3（4B/12B）を、近いパラメータ規模同士でペアリング。学習データはMMR1-Mathとmultimodal-open-r1
• テキスト系の比較対象：ラベルフリーの自己採点手法としてTTRL・Intuitor・RENT・Co-rewarding-IIの4つ、正解ラベルありの教師あり参照としてGT-Reward（GRPO）、マルチエージェントRLの比較対象としてMAPoRLとCoMAS
• VLM系の比較対象：TTRLと同じ報酬設計を使うMM-UPT
• 7つのテキストベンチマーク：数学がGSM8K・MATH-500・AMC、コード生成がHumanEval・MBPP・LiveCodeBench、科学がGPQA
• 4つのマルチモーダルベンチマーク：MathVision・MathVerse・MathVista・We-Math
• 学習環境：8基のH100 GPUを1ノードで使用し、1エージェントあたり4基を割り当て

出典: arXiv:2608.17253 HTML全文版「6.1 Experimental Setup」（2026年8月29日確認）

Qwen2.5-3Bでの実測値（Table 1）

HTML全文版に掲載されているTable 1から、Qwen2.5-3Bでの7ベンチマーク平均スコアを実際に書き出すと、次のようになっていた。

出典: arXiv:2608.17253 HTML全文版 Table 1（2026年8月29日確認、Qwen2.5-3B行を抜粋）

この表を見ると、パラメータを共有する必要すらない「Same family」（同じベースモデルから初期化した2エージェントを組ませるだけ）の時点で、ラベルフリー最良のTTRL（47.3）に迫る48.7を出しており、モデルファミリーを変えてデータの言い換えも加えた「Different family+」では、正解ラベルを使ったGT-Reward（47.4）を上回る49.3に達している。ただし個別ベンチマークで見ると、HumanEval（コード生成）ではCo-RLがGT-Reward・TTRLのいずれにも及ばないなど、平均では上回っていても全項目で一様に勝っているわけではない点も、この表からは読み取れる。

7B・8Bモデル、VLM7B〜12Bでも傾向は同じか──Appendix Dを読んだ

当初、本記事はTable 1（Qwen2.5-3B）のみを確認し、Appendix D.1（7B/8Bモデル）とD.2（VLM 7B〜12B）は未読としていた。改めてHTML全文版のAppendix Dを実際に読み、Table 8・Table 9の数値を確認した。

Appendix D.1は、Qwen2.5-7BとLlama-3.1-8B-Instructのペアでの結果だ。論文はこう総括している。

"Co-RL (Different family+) improving Qwen2.5-7B from 49.0 to 53.6 and Llama-3.1-8B-Instruct from 44.7 to 47.7 on average. [...] Notably, on Llama-3.1-8B-Instruct, it also surpasses GT-Reward (47.7 vs. 47.1) despite using no ground-truth labels."

（訳：Co-RL（Different family+）は、Qwen2.5-7Bを平均49.0から53.6へ、Llama-3.1-8B-Instructを平均44.7から47.7へ改善した。特にLlama-3.1-8B-Instructでは、正解ラベルを一切使っていないにもかかわらず、GT-Reward（47.7 対 47.1）を上回った）

出典: arXiv:2608.17253 HTML全文版 Table 8（2026年8月30日確認）

Qwen2.5-7Bの方はCo-RLがGT-Reward（54.5）に届いておらず、3Bモデルの時ほど鮮やかにGT-Rewardを上回るわけではない。一方Llama-3.1-8B-Instructでは上回っている、という非対称な結果だ。

Appendix D.2は、Qwen2.5-VL-7B・InternVL3.5-8B・Gemma-3-12Bという3つの異なるモデルファミリーのVLMでの結果で、InternVL3.5-8Bを共通の学習パートナーとして使っている。

"Co-RL improves the corresponding base models by 7.2%, 6.3%, and 5.8% on average for Qwen2.5-VL-7B, InternVL3.5-8B, and Gemma-3-12B, respectively, and outperforms TTRL for all three model families. [...] while surpassing it on Gemma-3-12B (47.56% vs. 45.17%)."

（訳：Co-RLは、Qwen2.5-VL-7B・InternVL3.5-8B・Gemma-3-12Bのそれぞれのベースモデルを平均で7.2%・6.3%・5.8%改善し、3つのモデルファミリーすべてでTTRLを上回った。Gemma-3-12Bでは（GT-Rewardを）上回った（47.56% 対 45.17%））

3Bクラスの結果だけでなく、7B〜12Bクラスに規模を上げても、Co-RLがTTRLを一貫して上回るという傾向自体は保たれている、というのがAppendix Dの主張だ。

さらに、なぜTTRL・RENT・Intuitorが崩壊しやすいのかについて、Appendix D.3「Training Dynamics and Stability」に踏み込んだ説明があった。

"RENT rapidly drives the reward standard deviation toward zero and often exhibits a sharp increase in completion length, accompanied by degraded accuracy or divergence. Intuitor similarly shows substantial reductions in reward variation [...] TTRL is more stable, but its reward variation generally decreases and its validation performance remains below Co-RL."

（訳：RENTは報酬の標準偏差を急速にゼロへ近づけ、しばしば応答長の急増と精度低下・発散を伴う。Intuitorも同様に報酬のばらつきが大幅に減少する。TTRLはより安定しているが、報酬のばらつきは全体として減少し続け、検証性能はCo-RLを下回ったままである）

つまり自己採点型の手法が崩壊する様子は、学習中の「報酬の標準偏差がゼロに近づいていく」という指標に表れる、と論文は説明している。Co-RLでは、この報酬の標準偏差が学習を通じて非退化（non-degenerate、ゼロに潰れない）のまま保たれる、としている。

「自分で自分を採点する」ことの危うさ——TTRLの多数決報酬を例に

正解データを使わずにモデル自身に採点させる仕組みは、一見すると「モデルが賢くなれば採点も賢くなる」という好循環に見える。論文のHTML全文版には、比較対象の1つTTRLがどう報酬を作るかの定義も書かれていた。TTRLは、同じプロンプトに対してモデルが生成したK個の回答のうち、最も多く一致した答え（多数決の結果）と同じ答えを出した回答に報酬を与える、という設計になっている。この設計の弱点は明確で、モデルが特定の問題で系統的に間違った答えに偏っている場合、その間違った答えこそが「多数派」になりやすく、多数決報酬はその間違いをそのまま正解として強化してしまう。論文はFigure 2で、学習を続けるとTTRLがこの経路で劣化し、最終的に学習崩壊に至ることを示したとしている。

Co-RLが「複数の、互いに異なる種類のモデル」を組ませているのは、1つのモデルが持つ系統的な偏りを、別の系統のモデルの偏りで相殺させる狙いだと読める。人間の組織運営でも「同じような経歴・価値観の人だけでレビューし合う」より「異なる専門性を持つ複数人でレビューし合う」方が偏った判断に気づきやすい、というのに近い発想だ。

v1とv2の差分──変わったのはデータではなく著者の所属欄

論文は2026年8月18日提出のv1と、翌19日提出のv2の2版がarXivに存在する。両バージョンのHTML全文版を実際に取得し、テキストを機械的に突き合わせたところ、差分は次の3点のみだった。ベンチマーク数値・図表・本文は一字一句変わっていない。

1. Yuexin Bian氏の所属欄「Johns Hopkins University／UC San Diego」の記載と、氏名の末尾に付いていた*の記号が、v2では両方とも削除されている
2. Yunjie Tian氏の所属が「University of Exeter／ByteDance」から「University of Exeter／Independent Researcher」に変更されている
3. Di Fu氏の所属も同じく「University of Exeter／ByteDance」から「University of Exeter／Independent Researcher」に変更されている

つまり、v1で「ByteDance」という所属を併記していた2名の著者が、v2では「Independent Researcher（独立研究者）」という表記に置き換わっている。変更の理由を説明する記載はv2にも無く、arXivの投稿履歴にも変更点の要約は付いていなかった。本記事はこの事実——所属欄がこう変わった、という点——のみを確認したもので、変更の背景（例えば所属先との関係が解消されたのかどうかなど）については、確認できる情報源が無いため一切推測しない。

Table 1以外の数値は精読・突き合わせ済み、コードは動かしていない

この記事はarXivの論文要旨・HTML全文版（v1・v2）・GitHubリポジトリのREADMEを実際に読んで書いている。次の点は確認できていない。

• 5節「Theoretical Analysis」にある、クロスエージェント教師が「正しい収束の吸引域を広げる」とする理論的な証明（Appendix B）の数学的な妥当性は検証していない
• 「自己採点だけだと均質化・学習崩壊が起きる」という問題設定自体が、self-rewarding RLを使う研究全般でどの程度一般的に見られる課題なのかは、この論文の範囲だけでは判断できない
• GitHubリポジトリの学習コードを実際にクローンして動かし、Table 1・Table 8・Table 9の数値を自分の手元で再現する検証は行っていない
• READMEのCitationブロックに著者9名（Yunhao Yang・Yuexin Bian・Yunjie Tian・Di Fu・Tianjin Huang・Yuanyuan Shi・Ziang Xiao・Nuno Vasconcelos・Yijiang Li）の名前があったが、各人の具体的な貢献範囲までは論文本文で確認していない

なお「Co-RL」は日本語の「コーロ」（合唱団やヘアケアブランドなど）とカタカナ表記が重なり、日本語で検索するとこの論文とは無関係な結果に埋もれやすい語であることは付け加えておく。

関連記事

• 推論モデルとは何か──通常のLLMとの違いと使い分けの基準
• LLMベンチマークの読み方──MMLU・HumanEval・Arenaの注意点【2026年版】
• マルチモーダルAIとは？画像・テキスト・音声の統合解説【2026年】