AIコーディングベンチマークの3割は壊れていた──OpenAIが自ら暴いたSWE-Bench Proの監査結果

2026年8月27日時点の内容。OpenAIは2026年7月8日、AIのコーディング能力を測る主要ベンチマーク「SWE-Bench Pro」を自ら監査し、公開分731タスクのうち約30%が「壊れている」——プロンプトとテストが矛盾していたり、正しい実装を不正解にしてしまったりする欠陥タスクだったと発表した。しかもこの半年前の2026年2月23日には、それまで業界標準として使われてきた前身のベンチマーク「SWE-Bench Verified」自体を、汚染を理由に評価対象から外すと発表している。つまり2026年に入ってから、コーディングAIの性能を語るときの「ものさし」が2段階で作り直された。この記事は動画『AIベンチマーク、3割壊れてた──OpenAIが自分で暴いた不都合な真実』の内容を、公開後にOpenAIの一次発表とScale AIの公式ページで再確認して記事にしたものです。

• OpenAIは2026年7月8日、SWE-Bench Pro(公開分731タスク)の監査で「約30%のタスクが壊れている」と発表した(自動パイプライン検出27.4%、人間評価34.1%)
• その前の「SWE-Bench Verified」は2026年2月23日に評価対象から撤退。理由は、フロンティアモデルが学習データから答えを見ていた「汚染」問題
• SWE-Bench Proは合計1,865タスク・41リポジトリで構成される大規模ベンチマークで、公開分でのモデルの正答率は8か月で23.3%から80.3%まで上昇していた(OpenAI公表値)

何が起きたか——2つの発表を時系列で

SWE-Benchとは何で、なぜ「ものさし」として使われてきたのか

SWE-Benchは、GitHub上の実際のバグ修正issueをもとに、AIエージェントに「このバグを直せ」と指示し、テストが通るかどうかで正誤を判定するベンチマークだ。2023年にオリジナル版が公開されて以降、AI企業が新モデルを発表するたびに「SWE-Benchで何%解けた」という数字を競うようになり、コーディング能力を測る事実上の共通言語になっていた。

OpenAIの2026年2月23日の発表によれば、その改良版であるSWE-Bench Verifiedは2024年8月の公開以降、業界標準として広く使われてきたが、直近6か月では74.9%から80.9%への伸びにとどまり、進歩が鈍化していた。ここでOpenAIは一つの疑問を立てる。「残っている失敗は、モデルの限界を反映しているのか、それともデータセット自体の欠陥なのか」。

SWE-Bench Verifiedはなぜ「評価に使わない」ことになったのか

OpenAIが2026年2月23日の発表で挙げた理由は大きく2つある。

1点目は、テストの厳しさそのものの問題だ。OpenAIはモデルが解けなかった問題のうち27.6%を人手で監査し、そのうち少なくとも59.4%で「機能的に正しい送信を拒否してしまう欠陥のあるテストケース」が見つかったとしている。

2点目が、より深刻な「汚染」の問題だ。OpenAIはGPT-5.2、Claude Opus 4.5、Gemini 3 Flashの3モデルに対し、SWE-Benchの各タスクのIDと問題文の断片だけを手がかりに、正解のコード(ゴールドパッチ)を「記憶ゲーム」として復元できるか15ターンにわたって試させた。結果、テストしたすべてのフロンティアモデルが、少なくとも一部のタスクでゴールドパッチや問題文の詳細を一字一句そのまま再現できたという。これは、モデルが学習の過程でSWE-Benchの問題と解答そのものに触れていたことを示す証拠だとOpenAIは説明している。

OpenAIはこの結果を「SWE-Bench Verifiedの改善は、もはやモデルの実務能力の向上ではなく、そのモデルがベンチマークにどれだけ露出していたかを反映するようになった」と総括し、SWE-Bench Verifiedのスコア報告を停止、代わりにSWE-Bench Proの利用を推奨するとした。

代わりのSWE-Bench Proも「30%壊れていた」とは、具体的にどういうことか

SWE-Bench ProはScale AIが開発したベンチマークで、公式ページによると合計1,865タスク・41の実務レベルのリポジトリで構成され、うち731タスクが一般公開分(Public Set)にあたる。参照解答の平均は107.4行・4.1ファイルにわたる修正で、既存のSWE-Bench Verifiedより複雑なタスクを揃えることで汚染対策を図った設計だった。

その公開分でのモデルの正答率は、OpenAIの発表によれば8か月で23.3%から80.3%まで上昇していた。ところが2026年7月8日の監査で、OpenAIはこの731タスクを自動パイプラインと人間評価者の両方でチェックし、自動パイプラインが200件(27.4%)、人間評価者が249件(34.1%)を「壊れたタスク」と判定した。OpenAIはこれらを踏まえて「約30%のタスクが壊れている」と推定を発表している。

壊れ方は4つのパターンに分類されている。

• テストが厳しすぎる:プロンプトに書かれていない実装の細部までテストが要求し、機能的に正しい提出物を不正解にする
• プロンプトが曖昧すぎる:隠しテストが要求する仕様がプロンプトから合理的に推測できない
• テストのカバレッジ不足:機能を十分にチェックしておらず、不完全な修正でも通ってしまう
• 誤誘導:プロンプトの指示とテストが期待する動作が矛盾している

OpenAIが公開した具体例の一つが「OpenLibrary-77c16d5」というタスクだ。表の項目をMarkdownに変換する実装で、プロンプトが示す例では区切り記号の前にスペースが1つ(" | Chapter 1 | 1")だったのに対し、隠しテストはスペース2つ(" | Chapter 1 | 1")を要求していた。プロンプト通りに実装すれば、それだけで不正解として記録される構造になっていた。

この話、OpenAIの自己申告だけを信じていいのか

ここは正直に書いておきたい。今回の「30%壊れていた」という数字は、OpenAIが自社で設計・実行した監査の結果であり、第三者機関による再現・検証を経たものではない。SWE-Bench Proのスコアは、OpenAI自身のモデルを含む各社のモデル比較にも使われる指標であり、「テストの側に欠陥があった」という説明は、自社モデルの伸び悩みに対する見方を和らげる方向にも働きうる。この利益相反の可能性は、OpenAIの発表内容を評価するうえで念頭に置く必要がある。

一方で、SWE-Bench Verifiedの汚染についてはGPT-5.2・Claude Opus 4.5・Gemini 3 Flashという他社モデルでも同様の現象が確認されており、OpenAI一社だけに都合の良い結論ではない。また、OpenAI自身も今回の発表で「より広い評価コミュニティが、モデルの能力をテストすることに特化して経験豊富なソフトウェア開発者が構築する新しいベンチマークを開発すること」に期待を示し、ベンチマーク作成側とモデル開発側のいたちごっこが続くこと自体を認めている。

正直に言うと、ここまでしか確認できていない

動画では、SWE-Bench Verifiedのスコアが2023年10月の1.7%から2026年にかけて段階的に上昇したという時系列や、Datacurveの「DeepSWE」ベンチマーク、Terminal-Bench、LiveCodeBenchといった代替ベンチマークの具体的なタスク数・行数の比較、業界全体で「154本のベンチマークのうち37%が飽和している」といった数字にも触れている。これらはOpenAIの一次発表には記載がなく、この記事を書く時点でWeb検索の利用上限に達したため、発表元のサイトを直接確認できなかった。数字が誤っている可能性を排除できないため、この記事では扱わず、上記2つのOpenAI発表とScale AIの公式リーダーボードページで直接確認できた内容のみを書いている。動画の該当箇所は参考情報として見てほしい。

この数字をどう受け止めればいいか

新しいモデルが「SWE-Benchで◯%解けた」と発表されるたびに、そのスコアが何を測っているかを一度立ち止まって考える価値がある。少なくとも今回わかったのは、(1)そのベンチマークが汚染されていないか、(2)テストの設計自体が検証されているか、(3)そのスコアが開発元の自己申告か第三者評価かーーという3点を確認しないと、単純な「数字が大きい方が強い」という比較はできないということだ。ベンチマークスコアは参考情報の一つであり、唯一の判断材料ではない。より広くLLMのベンチマーク自体の読み方はLLMベンチマークの読み方──MMLU・HumanEval・Arenaの注意点、実際のコーディング支援ツール選びはAIコーディングアシスタント比較も参考にしてほしい。ベンチマーク数値そのものへの疑問は、Sakana AIが独自ベンチマークを発表した際の記事(日本のSakana AIが「Fugu」発表)とあわせて読むと、ベンチマーク競争そのものの構造が見えやすい。

---

出典・但し書き:本記事の数字は、OpenAI公式ブログ2本(2026年2月23日・7月8日)およびScale AI公式のSWE-Bench Proリーダーボードページを2026年8月27日にアクセスして直接確認したものです。動画で言及されているが本記事執筆時に一次ソースを確認できなかった数値(初期スコアの時系列詳細、代替ベンチマークの個別統計、業界全体の飽和率)は、上記の理由により本記事では取り上げていません。