「SPADE」とは何か──1つのAIが「問題を作る役」と「解く役」を両方演じて自分を鍛える仕組み

継続的な自己改善には、自ら生成した、多様で適応的な目標のプールが際限なく拡張され続ける必要がある。だが言語エージェント向けの既存の学習環境プール――手作業でキュレーションされたもの、静的に合成されたもの、検証器が固定されたもの――は、学習者が成長しても目標の分布が固定されたままだ。2026年8月19日にarXivで公開された論文「SPADE: Self-Play in Adaptive Synthetic Executable Environments」は、この固定された目標分布という制約を取り払おうとしている。著者はワシントン大学・スタンフォード大学・MIT・カーネギーメロン大学・シンガポール国立大学・ソウル大学など9機関にまたがる18名で、Yejin Choi氏・Luke Zettlemoyer氏・Natasha Jaques氏ら著名な研究者も名を連ねている。コードはGitHub（spade-rl/spade）で公開されている。

3行まとめ

1. SPADEは、1つのLLMが実行可能なコードとして学習環境を書く「環境デザイナー」役と、その環境で行動する「推論エージェント」役の両方を演じる自己対戦フレームワークで、ワシントン大学・スタンフォード大学など9機関18名の共著としてarXivに公開された。
2. 30B-A3B規模で、8つの保留ベンチマーク平均が58.3(ベース比+8.1、最強の固定環境ベースラインFixed-env RLVE比+5.3)、ツール利用のACEBench-Agentで+13.9・BFCL v4マルチターンで+5.7の改善を確認したという。
3. モデルサイズを4B→8B→30B-A3Bと大きくするほど、ベース比の伸びが+5.2→+5.7→+8.1と拡大する一方、固定環境のGRPOベースラインはどのサイズでも+1.2前後で頭打ちだったと報告されている。

「環境を作る役」と「環境で行動する役」を同じモデルが演じる

SPADEは自己対戦の強化学習フレームワークで、単一のLLMが2つの役割を演じる。1つは「環境デザイナー」で、状態遷移・報酬関数・検証コードを備えた、OpenAI Gym方式のreset()/step()インターフェースを持つ、完全で長期的な学習環境を実行可能なコードとして書く役割だ。もう1つは「推論エージェント」で、その環境の中で行動することを学ぶ役割だ。それぞれのインターフェースはステートフルでマルチターンなので、1つの枠組みで推論問題とマルチステップのエージェント的なツール利用の両方をカバーできる。

推論エージェントの「後悔（regret）」は、特権的なヒントがある場合とない場合の報酬の差から推定される。この後悔シグナルを最適化する過程で、環境デザイナーはエージェントの能力の「ぎりぎり届く範囲」を狙いつつ、実行可能な範囲にとどめるように環境を設計することを学んでいく。論文は、環境デザイナーを大規模な事前学習コーパスからサンプリングした文書に接地（grounding）させること、そして環境デザイナーに蓄積された環境メモリを持たせることが、成功のために重要な要素だったとしている。

論文本文とGitHubリポジトリのREADMEを突き合わせると、4B/8B/30B-A3Bの3サイズで実際に学習に使われているベースモデルはQwen3系列で、具体的にはQwen/Qwen3-4B-Instruct-2507・Qwen/Qwen3-8B・Qwen/Qwen3-30B-A3B-Instruct-2507の3チェックポイントだとREADMEの対応モデル表に明記されている。README側は「SPADEはモデル非依存（model-agnostic）で、チャット対応のポリシーであれば学習ループに乗せられる」とも書いており、対応モデル表にはQwen3.5・GPT-OSS（openai/gpt-oss-20b/120b）・NVIDIA Nemotron・GLM-5.2/5.3も列挙されている（太字表記＝論文中で実際に学習させたモデルはQwen3系列のみ、それ以外は「対応している」という位置づけ）。

8つの保留ベンチマークとツール利用設定での成績

30B-A3B規模のモデルにスケールさせた実験では、SPADEは8つの保留（held-out）ベンチマークの平均で58.3という結果になり、ベースモデル比で+8.1、最も強い固定環境ベースライン「Fixed-env RLVE」比でも+5.3の改善だったと報告されている。環境デザイナーは合成ゲームだけで学習し、held-outタスクでは一切学習していないにもかかわらず、その効果は科学・コード・手続き的推論にまで転移し、400ステップの学習後半でも維持された（競技数学のスコアは維持のみで大きな向上はなかった）という。特に手続き的推論では、評価対象となった認知スキルの全カテゴリで改善が見られたとしている。

ツール利用向けの環境設計に同じレシピを適用した実験（Table 2）では、あらゆるバックボーンモデルで改善が見られ、30B-A3Bでは改善幅がベンチマークのタスク構造と生成環境の類似度に比例した。最も伸びたのはACEBench-Agentで+13.9（データベース・ツールスキーマ・複数回の呼び出しを要するゴールという生成パターンと、このベンチマークのステートフルなマルチステップタスクが類似しているため）、次いでBFCL v4マルチターンが+5.7（4Bモデルでは+10.3）、τ²-benchが+3.6だったという。SPADEは30B-A3B規模で、BFCL v4マルチターン・ACEBench-Agentの両方で、専用のデータ合成システムを上回ったとも報告されている。

モデルサイズを大きくするほど効果が拡大する

スケーリング実験（8章）では、モデルサイズを4B→8B→30B-A3Bと大きくするにつれ、ベースモデル比の平均改善幅が+5.2→+5.7→+8.1と拡大した一方、固定環境で学習させる比較対象「Fixed-env GRPO」はどのサイズでも+1.2前後に留まったという。論文はこれを「環境デザイナーが推論エージェントに合わせてカリキュラムを常に適応させ続けるのに対し、Fixed-env GRPOは静的な学習シグナルしか与えられないため」と説明している。

論文が報告するスケーリング実験の数値を表にすると次の通り。

カリキュラムの多様性についてのアブレーションでは、環境デザイナーが生成時に狙う認知スキルのカテゴリを、本来の6種類から2種類に絞ると、Reasoning-Gymでの改善幅はおよそ半分にとどまり、GPQA-DiamondやLiveCodeBench-v6での改善もかなり小さくなった（8ベンチマークスイートでのベストチェックポイント比較で58.3対53.7）。論文はこれを「改善幅は特定のゲームの種類ではなく、カリキュラムの多様性そのものに応じて伸びる」証拠だとしている。

生成される環境の多様性を保つ上で重要な役割を果たしているのが「コーパス接地（corpus grounding）」だ。環境デザイナーを大規模な事前学習コーパスの文書に接地させた場合と、させなかった場合を比較する指標（Vendi/n、実効的に異なる環境の割合を示す）は、コーパスありで0.68、コーパスなしでは0.04まで落ち込んだと報告されている。コーパスへの接地なしでは、生成される環境がすぐに似通ったパターンに収束してしまうことを示す数字だ。

AlphaGoの自己対戦との違い

「自己対戦（self-play）」という言葉から連想しやすいのは、囲碁AI「AlphaGo」が自分自身と対局を繰り返して強くなった仕組みだろう。だがAlphaGoの自己対戦は、囲碁というルールが完全に決まったゲームの中で、同じ盤面設定のまま強さだけを高めていくものだった。SPADEが目指しているのはそれとは異なる。「盤面のルールそのもの」を担当するモデルと、「盤面で戦う」モデルの両方を、同じLLMに演じさせ、ルール担当が相手の実力に合わせて難易度を調整し続ける。論文が「後悔（regret）」という指標で環境デザイナーを評価しているのは、簡単すぎる環境（後悔がほぼゼロ）でも難しすぎる環境（実行不可能で後悔が測れない）でもなく、「ヒントがあれば解けるが、なければ苦戦する」ちょうど良い難易度を探させるためだ。教育の文脈で言う「発達の最近接領域」（今の実力より少し上のレベルの課題を与えると最も学習効率が良いという考え方）に近い発想が、AIの自己学習の設計にも取り入れられている、と読める。

「固定環境」ベースラインの中身

論文中で比較対象になっている「Fixed-env」系のベースラインのうち、GPT-5.5コーパスを使う設定については、GitHubリポジトリのREADMEに具体的な中身が書かれている。それによると、静的な比較対象として公開されているのは「6つの認知スキル領域にまたがる7,872個の、検証済みPython環境」で、各環境にSHA-256のチェックサムが付いた固定リビジョンとしてHugging Faceで配布されており、ライセンスはApache-2.0だという。この静的コーパスを使う学習コマンド（cmd/games/train_fixed_gpt55_{4b,8b,30b}.sh）は、SPADE本体の学習に使うCORPUS_FILE環境変数（接地用コーパス）を必要としない、とも書かれている。つまり論文が言う「固定環境ベースライン」は、SPADEの環境デザイナーの代わりにGPT-5.5が事前に一括生成した環境集合を、後から動かなくして使っている構成だと分かる。

学習コマンドの記載からは、計算コストの手がかりも読み取れる。30B-A3Bの「games」設定を学習させるスクリプトは「単一の8GPUノードで400ロールアウト、GRPOでQwen3-30B-A3B-Instructの両方の役割を学習する」とREADMEに明記されている。本文中でスケーリング結果として言及されている「400ステップ」という数字と、GitHub側の「400ロールアウト」という記載は同じ学習run内の数字として符合する。ただしこれは30B-A3B・gamesの設定1本の情報であり、4B/8B、あるいはtool_use設定や各アブレーションが同じ計算資源で完結するのかどうかまでは、この記事の範囲では突き合わせていない。

生成される環境コードには実行時の制約がある

arXivのHTML全文をさらに読み進めると、Appendix F（Method and Experiment Details）にツール利用環境を生成させる際のシステムプロンプトの一部が掲載されている。そこには環境デザイナーが書くコードへの制約が明示されており、「標準ライブラリ（random・json・re・math）のみインポート可、カスタムパッケージ不可」「ツールはメソッドとしてシミュレートし、実際のAPI・ネットワーク・subprocessは使用不可」「ツールは決定的（deterministic）でなければならず、ランダム性はreset()内のみで許容」といった項目が並んでいる。これはプロンプトレベルでの指示であり、生成されたコードがこの制約を実際に守っているかをランタイム側で強制する仕組み（サンドボックスの実装詳細）までは、確認できたシステムプロンプトの記述だけでは分からない。README側には「生成コードは学習プールに入る前に構造・実行時の検証（structural and runtime validation）を通過する」という一文もあり、何らかの検証ステップがあること自体は分かるが、その検証が具体的に何を弾くのかの詳細までは、この記事の範囲では読み込んでいない。

この記事で確認できていないこと

この記事はarXivのHTML全文（Abstract・4章の一部・6章 Experimental Results・8章 Scaling Results・Appendix Fの一部）と、GitHubリポジトリのREADME・GitHub APIのリポジトリメタデータをcurlで取得して書いている。ただしAppendix E（理論分析）・F の残り（システムプロンプト全文・実装の詳細のすべて）・G（拡張アブレーション）・I〜J（環境の生成例、CarOwnershipDisputeEnvやThermodynamicCycleManipulationLabEnvといった実際に生成された環境のソースコード全文を含む）は、本文中で言及した部分以上には読み込んでいない。+5.3・+5.7・+13.9・Vendi/n=0.68といった数字はいずれも論文の自己報告であり、環境デザイナーが実際にどのようなコードを生成するのか、生成された「検証コード」自体にバグや抜け穴がないかといった実装の詳細は、この記事の範囲では確認できていない。GitHub API（api.github.com/repos/spade-rl/spade）で確認できた数値は、star 78・fork 6・open issues 1・ライセンスMIT・作成日2026年8月10日・最終pushが2026年8月26日で、README記載のstar/fork数と一致している。ただし公開されているコードの中身（学習スクリプト本体・生成された環境の実例ファイル）までは開いていない。

関連記事

• ファインチューニング やり方・費用・いつ使うべきか【2026年入門】
• ハーネスエンジニアリングとは何か──「エージェント＝モデル＋ハーネス」という考え方
• LLMベンチマークの読み方──MMLU・HumanEval・Arenaの注意点【2026年版】