「DarwinX」とは何か──モデルは固定したまま、harnessを自然選択で進化させる手法

「エージェント＝モデル＋ハーネス」という考え方に立つと、モデルを再学習せずにハーネス（プロンプト・ツール・スキル・制御フロー）だけを改善していけば、それだけでエージェントの能力は伸びる、という発想が成り立つ。2026年7月31日にarXivで公開された論文「DarwinX: Evolving Agent Harnesses Through Natural Selection」は、この発想を「自然選択」という比喩で実装した手法だ。著者12名は全員Salesforce AI Research／Salesforce Agentforce所属で、研究責任者として知られるSilvio Savarese氏の名前も含まれている。

3行まとめ

• DarwinXは、凍結した1つのLLM（GPT-5.5）を土台に、ハーネス（プロンプト・ツール・制御フロー）の集団を「保存して拡張する契約」のもとで選択・組み換えし、Terminal-Bench 2.1を75.5%→83.2%、WebArena-Infinityのpass@1を43.5%→93.0%に引き上げた
• 論文全文（arXiv HTML版）を読むと、比較対象を変えると伸び幅も変わる：同じGPT-5.5上の中立ハーネスTerminus-2（78.0%）比では純粋なハーネス起因の改善幅は+5.2ポイントで、リーダーボード基準の+7.7ポイントより小さい
• TerminalWorldの改善は「41タスク中25→28タスク成功」という実数で報告されており、パーセンテージ（68.3%）だけでは見えない分母の小ささが確認できる

単一系統の探索が抱える問題

論文はまず、既存の自己改善ループが抱える問題を指摘している。単一系統（single-lineage）でハーネスを探索していくやり方は経路依存的で、あるタスクで局所的に勝った改善が、別のタスクでは退行（regress）を引き起こすことが多い、という。

「保存して拡張する」契約と、系統のアーカイブ

DarwinXは、モデルを凍結したまま、ハーネスの集団に対して選択を行う。中心にあるのは「preserve-and-extend contract（保存して拡張する契約）」で、既存のカバレッジを退行させずに拡張する変種だけを採用する、というルールだ。加えて、アーカイブに別系統のハーネスを保存しておき、後で組み換え（recombination）に使う。失敗から得られた証拠・教師モデルから得られた証拠・自己生成の証拠を、すべて同じ「編集インターフェース」で扱う設計になっている。適応度（fitness）は各ベンチマークが持つ検証器（verifier）から得ており、論文は「正解データも、手で選んだ勝者もない」と強調している。

4つのベンチマークでの改善幅

論文は、進化のシグナルとテストの分離度合いが徐々に強くなる4つのベンチマークで検証している。

• Terminal-Bench 2.1: 1回のループで+7.7ポイント伸び、対応するベースで83.2%に到達。より強いベースでは「検証済みフロンティア」として84.7%に達したという。
• TerminalWorld（held-outスプリット）: 68.3%に到達し、既製のエージェントすべてを上回ったとしている。
• WebArena-Infinity（実タスクpass@1）: 43.5%から93.0%（監査でクリーンと判定された値）まで上昇。
• 転移性: Terminal-Bench 2.1向けに進化させたハーネスが、無改造のままSWE-bench Verifiedに転移したという。

論文全体としては「1回のループで平均約17ポイント」の改善を報告しており、進化するのはベンチマーク固有のパッチではなく汎用的なエージェント能力だとしている。タスク・検証器・ベースモデルが変わっても生き残る、という主張だ。

論文全文を確認すると、ベースモデルは「凍結（重み更新なし）」という点は全実験で共通だが、どのモデルを使ったかはベンチマークごとに違う。Terminal-Bench 2.1の本流とWebArena-InfinityはGPT-5.5、強ベース比較はGPT-5.6 Sol、そしてTerminalWorldの見出し数値（68.3%）はOpus 4.8である。論文自身が「同じ手順をGPT-5.5に適用すると56.1%にとどまり、ベースラインのTerminus-2（61.0%）を下回るため、Opus 4.8を見出しとして報告する（so we report Opus 4.8 as the headline）」と書いており、この手法がベースモデルをまたいでそのまま効くわけではないことを認めている。要旨だけでは分からない、ベンチマークごとの母数・比較条件は次の通り。

（出典：DarwinX論文全文、§4.1「The gain is the harness, not compute」および§6「Synthetic-to-Real Generalization」）

このうち「audit-clean」という限定は重要だ。論文の§4.2・§6.3にはそれぞれ「Reliability and submission audit」「Action validity and anti-cheating audit」という章が独立して設けられており、報告されている数字は生の（pre-audit）スコアではなく、不正な解法（reward hacking）を検出器で除外した後の値だと明記されている。裏を返せば、進化の過程でモデルが検証器を欺くような「近道」を見つけるケースが実際に発生し、それを監査で取り除く必要があったということでもある。

「1つの改善が別のタスクを壊す」問題への対処

harnessを手作業で改善していくと、あるタスクでの成績を上げるための変更が、知らないうちに別のタスクでの成績を下げてしまうことがよくある。ソフトウェア開発でいう「デグレ（既存機能の劣化）」に近い現象だ。DarwinXの「保存して拡張する契約」は、この問題への対処法として、既存のカバレッジを退行させない変更だけを採用する、というルールを機械的に課している。さらに「アーカイブに別系統を保存しておく」という仕組みは、1つの改善の道筋（系統）だけを追い続けるのではなく、複数の異なる改善の方向性を並行して保持し、後で良いところ取りの組み換えができるようにする発想だ。これは生物の進化で、1つの個体が最適化され続けるのではなく、多様な個体群の中から環境に合ったものが生き残る、という仕組みに着想を得た設計だと論文のタイトルからも読み取れる。

コードは公開されておらず、追試ベンチマークも走らせていない

論文全文を確認した範囲では、DarwinXの実装コードやアーカイブされたharnessそのものを公開するリポジトリへのリンクは見当たらなかった（GitHub検索でも「DarwinX」に該当する公開リポジトリはヒットしない）。そのため83.2%や93.0%、41タスク中28タスクといった数字は、あくまで論文の記述をそのまま引いたものであり、この記事の執筆時点で自分の手元でDarwinXを動かして再現したわけではない。「WebArena-Infinity」「TerminalWorld」という評価スイート自体がこの論文のために新規構築されたものなのか、既存の確立されたベンチマークなのか、その位置づけも本記事の範囲では検証していない。また「DarwinX」という語はGoogle検索のサジェストでは「darwinex」（FX/CFD取引プラットフォームのDarwinex）と混同されやすく、この記事のDarwinXとは無関係の別サービスなので、検索する際は注意してほしい。

ベンチマーク側の情報も確認しておく

Terminal-Bench・WebArena-Infinityそれぞれの公式サイトも実際に開いて確認した。Terminal-Bench公式サイト（tbench.ai）を見ると、確認時点（2026年8月31日）の最新版は論文が使った「2.1」ではなく「Terminal-Bench 4.0」で、Stanford・Harbor（harborframework.com）・Laude Institute（laude.org）の3者がホストしている。ベンチマーク自体のバージョンが先に進んでいるため、DarwinXの83.2%という数字は「Terminal-Bench 2.1」という当時のバージョンでの数字であり、最新版のリーダーボードとは直接比較できない点は覚えておきたい。

WebArena-InfinityのGitHubリポジトリ（web-arena-x/webarena-infinity）を確認すると、公式の説明は「ブラウザ環境と検証可能なタスクを自動生成するアプローチ（An approach to automatically generating browser environment with verifiable tasks）」となっており、MITライセンスで公開されている（確認時点でスター68・フォーク12）。DarwinXの適応度が各ベンチマークの「検証器（verifier）」から得られるという論文の説明と、WebArena-Infinity側が「検証可能なタスク」を前提に設計されている点は整合しており、この論文が既存の検証可能なベンチマーク基盤の上に成り立っていることがわかる。

関連記事

• ハーネスエンジニアリングとは何か──「エージェント＝モデル＋ハーネス」という考え方
• LLMベンチマークの読み方──MMLU・HumanEval・Arenaの注意点【2026年版】
• AIコーディングアシスタント比較──Copilot/Cursor/Claude Code【2026年】