SWE-bench Verifiedの未解決問題、6割はテスト自体に欠陥があった──7言語・170件のリファクタリングで最高スコアは41.2%

AIコーディングエージェントの評価に広く使われてきたSWE-benchは、既にスコアの飽和と評価品質そのものへの疑義に直面している。2026年8月10日にarXivで公開された論文「SWE-Bench ProMax」は、この問題を正面から受け止め、より厳格な条件で構築した多言語コードリファクタリングのベンチマークを提示している。arXivのHTML本文には著者名が表示されないが、Hugging Face Datasetsに掲載されたBibTeX引用情報とHugging Face Papersの著者一覧によれば、著者はYuling Shi・Jinghan Xu・Kelin Fu・Wenhao Zeng・Shilin He・Lei Zhang・Yue Liu・Zelin Zhao・Terry Yue Zhuo・Jialun Cao・Siyu Ye・Tianyu Liu・Kai Cai・Shing-Chi Cheung・Xiaodong Guの15名。

3行まとめ

1. SWE-Bench ProMaxは、SWE-bench Verifiedの未解決インスタンス約6割にテスト自体の欠陥があるという先行監査を踏まえ、実際のコミットから厳選した170件・7言語(Python/Java/TypeScript/Go/C/C++/Rust)の多言語コードリファクタリングベンチマークで、著者15名によりCOLM 2026に採択された。
2. Mini-SWE-AgentとOpenHandsという2つのエージェント足場で6つのフロンティアモデルを評価したところ、最高スコアはOpenHands上のGPT-5.2の41.2%で、SWE-bench Verifiedでフロンティアエージェントが出す75%以上のスコアを大きく下回った。
3. オープンウェイトモデルは低コストで健闘しており、OpenHands上でGLM-5とQwen3.5(いずれも36.5%)・Kimi-K2.5(32.9%)は、GPT-5.2(41.2%、1件$3.60)やClaude Sonnet 4.6(38.8%、1件$4.77)にわずかの差まで迫りながら、1件あたりのコストはそれぞれ$0.24・$0.78・$0.72と大幅に安かったという。

既存ベンチマークの品質問題を、監査結果とともに指摘

論文の冒頭は、既存のSWE-bench Verifiedが抱える具体的な問題を数字とともに示している。

"As AI coding agents take on increasingly complex, long-horizon software engineering tasks, existing benchmarks are rapidly saturating and their evaluation quality has come under serious scrutiny: a recent audit found that nearly 60% of unsolved SWE-bench Verified instances contain flawed tests -- either overly narrow tests that reject correct solutions or overly broad tests that check unstated requirements -- and that frontier models can verbatim reproduce gold patches from training data."

（AIコーディングエージェントがますます複雑で長時間のソフトウェアエンジニアリングタスクを担うようになるにつれ、既存のベンチマークは急速に飽和しつつあり、その評価品質は厳しい精査にさらされている。最近の監査によれば、SWE-bench Verifiedの未解決インスタンスのうち、およそ60%に欠陥のあるテストが含まれていた——正しい解答を拒否してしまうほど狭すぎるテスト、あるいは明記されていない要件まで検査してしまうほど広すぎるテストのどちらかだ。さらに、フロンティアモデルが訓練データから正解パッチを一字一句そのまま再現できてしまうケースもあった)

「未解決インスタンスの約6割にテスト自体の欠陥がある」という監査結果と、「モデルが訓練データの正解パッチを丸暗記して再現できてしまう」という汚染（contamination）の問題は、いずれもSWE-bench系のベンチマークの信頼性に対する深刻な疑義だ。

なぜ「コードリファクタリング」なのか

論文が新しいベンチマークの題材として選んだのは、コードリファクタリング（挙動を保ったまま、複数ファイルにまたがる協調的な変更を行う作業）だ。

"Code refactoring, which requires coordinated, behavior-preserving changes across many files, offers a substantially harder and more realistic test of agent capability, yet remains underserved by current benchmarks."

（多くのファイルにまたがる、協調的で挙動を保ったままの変更を必要とするコードリファクタリングは、エージェントの能力に対して、より難しく、より現実的なテストを提供する。だが現行のベンチマークでは、この領域は十分にカバーされていない）

バグ修正のような「1箇所を直せば済む」タスクと違い、リファクタリングは複数ファイルにまたがる整合性を保ちながら変更を加える必要があり、より実務に近い難易度のタスクだという位置づけだ。

7言語・170件、平均11.4ファイル・261.6行を変更

ベンチマークの規模と構成は次の通りだ。

"We introduce SWE-Bench ProMax, an expert-curated, multilingual code refactoring benchmark of 170 instances drawn from real commits across seven programming languages (Python, Java, TypeScript, Go, C, C++, and Rust)."

（SWE-Bench ProMaxを導入する。これは、7つのプログラミング言語（Python、Java、TypeScript、Go、C、C++、Rust）にまたがる実際のコミットから抽出した、専門家が厳選した170件のインスタンスからなる、多言語コードリファクタリングベンチマークだ）

品質管理のプロセスについても具体的な記載がある。

"Every instance undergoes rigorous, multi-stage curation that directly addresses the quality problems identified in prior benchmarks: issue descriptions are rewritten from scratch to provide precise, unambiguous specifications, and test suites are manually reviewed to remove overly narrow and overly broad tests. Tasks with insufficient complexity or limited cross-file scope are filtered out, yielding a benchmark of challenging, large-scale refactoring tasks that average 11.4 modified files and 261.6 lines of code per instance, substantially exceeding the scale of existing benchmarks."

（すべてのインスタンスは、先行ベンチマークで特定された品質問題に直接対処する、厳格な多段階のキュレーションを経ている。課題の説明文はゼロから書き直され、正確で曖昧さのない仕様を提供する。テストスイートは手動でレビューされ、狭すぎる・広すぎるテストが取り除かれる。複雑さが不十分なタスクや、複数ファイルにまたがる範囲が限定的なタスクはフィルタリングされ、1インスタンスあたり平均11.4ファイル・261.6行のコードを変更する、既存のベンチマークの規模を大幅に上回る、挑戦的で大規模なリファクタリングタスクのベンチマークが完成する)

数字：最高のモデルでも解決率41.2%、オープンウェイトは低コストで健闘

評価には、プロプライエタリ3種（Gemini-3-Pro・Claude Sonnet 4.6・GPT-5.2）とオープンウェイト3種（GLM-5・Kimi-K2.5・Qwen3.5）の計6モデルが使われ、それぞれ「Mini-SWE-Agent」と「OpenHands」という2つのエージェント足場（スキャフォールド）の下で動かされた。論文のTable 3から、全体解決率・平均ステップ数・平均コストを抜き出すと次の通り。

最高スコアはOpenHands上のGPT-5.2で41.2%。論文はこれを「SWE-bench Verifiedでフロンティアエージェントが出す75%以上のスコアを大きく下回る」と対比し、複数ファイルにまたがる協調と挙動保存を要求するマルチファイル・リファクタリングが、依然として未解決の大きな課題であることを裏付ける結果だとしている。特筆すべきは、OpenHands上でGLM-5とQwen3.5（いずれも36.5%）やKimi-K2.5（32.9%）が、GPT-5.2（41.2%）やClaude Sonnet 4.6（38.8%）にわずかの差まで迫りながら、1件あたりコストはそれぞれ$0.24・$0.78・$0.72と、GPT-5.2の$3.60やClaude Sonnet 4.6の$4.77の数分の1で済んでいる点だ。また、Gemini-3-Pro以外の全モデルは、Mini-SWE-AgentからOpenHandsへ足場を変えるだけで大きくスコアが向上しており、論文は「足場（エージェントを取り巻くツール・環境設計）の選択もモデル自体の選択と同じくらい重要だ」と位置づけている。

使われた2つの足場は、いずれもオープンソースで公開されている実在のプロジェクトだ。Mini-SWE-AgentのGitHubリポジトリは、自らを「約100行のAIエージェント」と説明しながら、SWE-bench Verifiedでは74%超のスコアを出すと明記している（本記事執筆時点でスター数6,873）。一方のOpenHandsはより大規模なAI開発エージェントのプラットフォームで、GitHubスター数は85,000を超える（いずれも本記事執筆時点）。SWE-bench Verifiedで7割超を出す軽量な足場でも、SWE-Bench ProMaxでは最高スコア勢に及ばなかったという対比から、ベンチマークの難易度差の大きさがうかがえる。

COLM 2026に採択、データセットはHugging Faceで公開

この論文は、arXivの分類情報によれば「COLM 2026」（Conference on Language Modeling）に採択された論文としても掲載されている。データセット自体はHugging Face（swe-bench-promax/SWE-Bench-ProMax）で公開されており、170行・合計13.2MB、本記事執筆時点で直近1ヶ月のダウンロード数726件だった。論文の付録には、代表的なインスタンスの実例（C++ではnasa/fprimeの244ファイル・559行変更、Javaではplantuml/plantumlの94ファイル・1,629行変更、PythonではGoogleのlangextractの30ファイル・1,960行変更など）が言語ごとに1件ずつ挙げられている。

既存ベンチマークのスコアを額面通り受け取っていた反省

筆者は、AIコーディングエージェントの実力を測る指標として、SWE-benchのスコアをこれまで額面通りに受け取っていたが、「未解決インスタンスの約6割にテスト自体の欠陥がある」という監査結果は、既存のベンチマークスコアの解釈に注意が必要だということを改めて示している。SWE-Bench ProMaxが「リファクタリング」という、より実務に近く、かつ複数ファイルにまたがる整合性が問われるタスクを選んだ点は、単一ファイルのバグ修正だけでは測れない、AIコーディングエージェントの実力をより正確に評価しようとする試みとして注目に値する。

170件の言語別内訳までは踏み込んでいない

本記事はarXivのHTML全文（Abstract・4章 Experiments・5章 Results and analysisの記述）と、Hugging Face Datasetsのページをcurlで取得して書いている。ただし170件の言語別の正確な内訳（Appendix A.1「Per-language summary」）、3章のデータセット構築・キュレーションの3段階の詳細、5.2節のエージェント挙動分析、5.3節のコスト・効率分析の全体、Appendix B「タスクカテゴリ分析」までは、本文中で言及されている数値以上には読み込んでいない。「約60%」というSWE-bench Verifiedの監査結果自体も、この論文が独自に行った調査ではなく先行研究の引用であることは本文から読み取れるが、その引用元の論文自体（監査の具体的な手法・対象件数）までは確認していない。arXivのHTML版では著者名が表示されずHugging Face側のBibTeXでのみ確認できたため、両者が本当に同一の著者リストを指しているかは突き合わせただけで、著者本人への確認はしていない。Zenn記事検索（2026年8月27日実施）では「SWE-Bench ProMax」に該当する日本語記事は見つからなかった。

関連記事

• LLMベンチマークの読み方──MMLU・HumanEval・Arenaの注意点【2026年版】
• AIコーディングアシスタント比較──Copilot/Cursor/Claude Code【2026年】
• Claude Codeとは──コード生成に留まらない「仕事を渡せる」AIエージェント