「Agentic ESOpt」とは何か──強化学習ではなく「進化戦略」でエージェントを鍛える、GPUに優しいやり方

3行まとめ

1. NUS・南方科技大学・オックスフォード大学の研究者らが2026年8月18日にarXivで公開した論文「Agentic ESOpt」は、長期タスクをこなすLLMエージェントの学習に、強化学習ではなく進化戦略(ES)を使う手法を提案している
2. 制御されたSudoku実験(4×NVIDIA H100)では、必要な学習時GPUメモリがGRPO比85.7%減の8.41GB(推論時と同等)で済み、最長ホライズン(H*=15)ではGRPOを12.50ポイント上回る53.13%を記録したと報告している
3. 著者ら自身が論文内で「新しいハイパーパラメータの調整コスト」「環境評価が高コストな場面では不利になりうる」「継続学習の効果は未解明」という3つの限界を明記している

長期タスク（long-horizon）をこなすLLMエージェントを強化学習（RL）でファインチューニングしようとすると、逆伝播（バックプロパゲーション）ベースの重い学習スタックが必要になり、大きなモデルを鍛えるのが実務上難しくなる。加えて、行動の連鎖が長くなるほど「どの行動が最終的な成功にどれだけ貢献したか」を割り当てるクレジットアサインメントも難しくなる。2026年8月18日にarXivで公開された論文「Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Requirements」は、この問題に対してRLではなく「進化戦略（Evolution Strategies、ES）」の方が向いているのではないか、という立場を取っている。著者はシンガポール国立大学(NUS)のZhi Zheng氏・Wee Sun Lee氏、南方科技大学(SUSTech)のRongsheng Chen氏ら、オックスフォード大学のYee Whye Teh氏を含む6名で、コードはGitHub(zz1358m/Agentic-ESOpt)で公開されている。本記事はPDF全文を読んで書いている。

RLに対するESの3つの利点

論文はESがagentic RLに対して持つ利点を3つ挙げている。

1. モデルのスケーラビリティ: ESは推論レベルの最小限のGPUメモリだけで全パラメータ最適化ができ、大きなLLMのファインチューニングを現実的にする
2. 柔軟性: 軽量なブラックボックスのフィードバックインターフェースなので、プロンプト空間の進化（スキル最適化やテスト時計算量の調整など）と組み合わせやすい
3. 長期スケーラビリティ: ESは軌跡（トラジェクトリ）レベルでパラメータへの貢献度を割り当てるため、報酬を時間軸で分解する必要がなく、タスクが長くなるほどAgentic RLよりスケールしやすい

この発想にもとづき、論文は「Agentic ESOpt」というフレームワークを提案している。各ステップで現在のLLMパラメータの周辺に摂動（perturbation）をサンプリングし、その結果できたエージェント群を報酬で評価し、オンラインの報酬加重更新を適用する。探索と適応のトレードオフを改善するため、摂動の大きさσをコサイン減衰させるスケジュールも導入している。

制御されたSudoku実験:GPUメモリは86%減、長いタスクほど強くなる

論文（PDF本文）を確認すると、要旨には出てこない「長期ホライズンSudoku」という制御実験があり、そこに最も定量的な裏付けデータが集まっていた。4×NVIDIA H100 80GB GPUを使い、最小成功ホライズン（H*、マス目の空欄数で決まる最小手数）を5・10・15と変えながら、Qwen3.5-4Bを様々な手法でファインチューニングした結果がTable 1として報告されている。

この表から読み取れる傾向は単純な「ESが常に勝つ」ではない。H*=5(短いタスク)ではPPOが90.63%で最も高く、H*=10ではGRPO(設定2)が67.71%で最も高い。しかしH*=15(最も長いタスク)になると、Agentic ESOptが53.13%でGRPOの40.63%を12.50ポイント上回り、PPOは0.00%まで崩壊する。論文はこれを「タスクが長くなるほどRLのクレジットアサインメントが難しくなり、ESの相対的な優位性が表れる」現象だと説明している。学習時GPUメモリについては、Agentic ESOptがGRPO比85.7%少ない8.41GB(Qwen3.5-4B単体の推論時メモリと同じ)で済んだと明記されている。計算量(FLOPs)と実時間についても比較されており、H*=15の設定でAgentic GRPOが10.9EFLOPs・19.0時間かかったのに対し、Agentic ESOptは9.4EFLOPs・9.4時間だったと報告されている。

WebArena-Liteと自動ヒューリスティック設計での成績

論文はWebArena-Lite(165タスクの公式評価セット)で、Qwen3.5-27Bを全パラメータ最適化した結果、スキルなし（No Skill）のベースラインを6.69%改善し、Trace2Skillという別手法と組み合わせるとそのベースラインをさらに2.42%改善したと報告している。また、テスト時の自動ヒューリスティック設計というタスクでは、Agentic ESOptがプロンプトとパラメータをオンラインで共進化させ、36設定中28設定で対応するベースラインを上回ったとしている。

「正解を細かく教える」か「結果だけ見て探る」かの違い

強化学習は基本的に、モデルの内部（勾配）に立ち入って「このパラメータをこう動かせば良くなる」という細かい指示を与える。これには精密な計算が必要な分、計算資源も多く必要になる。進化戦略は対照的に、モデルにわずかな摂動（ランダムなゆらぎ）を何通りも与えてみて、「どの摂動がより良い結果を出したか」という結果だけを見て、良い方向に近づけていく。中身の詳しい仕組みを見なくても、結果さえ観測できれば最適化できるという意味で「ブラックボックス」な手法だ。論文が挙げる利点はどれも、この「中身を見ない」という性質から来ている。中身を見ないぶん、モデルサイズが大きくなっても必要なメモリが推論時とほぼ同じで済み、長いタスクでも「途中のどのステップが良かったか」を細かく分解する必要がない、という具合だ。

進化戦略は2017年のOpenAI論文が土台

論文はSudoku実験の考察の中で「OpenAIのES分析(Salimans et al., 2017)で使われている弱相関スケーリングの仮定のもとでは」という形で、自らの理論的根拠を明示している。実際にこの2017年の論文「Evolution Strategies as a Scalable Alternative to Reinforcement Learning」(著者はTim Salimans・Jonathan Ho・Xi Chen・Szymon Sidor・Ilya Sutskever)を確認すると、MuJoCo・Atariの強化学習タスクにおいて、ESがQ学習やポリシー勾配法の代替になりうることを示した論文だった。つまりAgentic ESOptは「進化戦略というアイデア自体」を発明したわけではなく、2017年にOpenAIが提示した考え方を、2026年のLLMエージェントの長期タスクという文脈に持ち込んで検証した論文だと位置づけられる。比較対象のGRPO(Agentic RLの一種)についても、原論文(Shao et al., 2024「DeepSeekMath」)を確認すると、もともとは数学推論向けのLLMファインチューニング手法として提案されたものだった。

著者ら自身が挙げる3つの限界

論文には著者ら自身による「Limitations」という節があり、次の3点が明記されている。

• 新しいハイパーパラメータが増える:摂動半径σという、Agentic RLには無いハイパーパラメータが必要になり、最適値はLLM・報酬分布・環境に依存しうる。ただし著者らは、5つの実験全体でσ₀≈1×10⁻³・α≈5×10⁻⁴という比較的一貫した設定が機能したとも述べている
• 環境評価自体が高コストな場面では不利になりうる:Agentic ESOptは逆伝播のコストを、より多くの独立した環境評価に置き換える設計のため、環境の評価自体が極めて高コストな場合は、この効率化が裏目に出る可能性がある
• 継続学習への影響は未解明:GRPOが疎な更新をするのに対し、ESは目的とは無関係な方向にも「ランダムウォーク」してしまう懸念が別の研究(Hoy et al., 2026)で指摘されているという。著者らは、WebArenaでのQwen3.5-27B実験において、最終的なパラメータ更新の96.26%が摂動幅σの範囲内に収まっていたという分析でこの懸念に反論しているが、「継続学習の観点でどうなるかは依然として不明」だと認めている

進化戦略とRLの優劣は、この論文だけでは判定できない

6.69%や「36設定中28設定」という数字、Sudoku実験のTable 1・Table 2の数値は、いずれも論文が報告した実験結果であり、この記事の執筆にあたって自分の手元で追試したわけではない。「ESの方がRLより長期タスクに向く」という主張は、この論文の実験設定（制御Sudoku・WebArena-Lite・テスト時ヒューリスティック設計）の範囲で示されたものであり、それ以外のタスクやモデル規模でも同様に成り立つかどうかは、この記事の範囲では判断できない。査読の有無についても、本記事で確認したarXivページの範囲では明記されていなかった。

関連記事

• ファインチューニング やり方・費用・いつ使うべきか【2026年入門】
• ハーネスエンジニアリングとは何か──「エージェント＝モデル＋ハーネス」という考え方
• LLMベンチマークの読み方──MMLU・HumanEval・Arenaの注意点【2026年版】