GDPvalは本当に「線形に伸びている」のか──2026年5月から8月まで、モデル発表8件分のスコアで検証した

OpenAIが2025年10月に発表したベンチマーク「GDPval」の論文は、「フロンティアモデルの性能はほぼ線形に改善している」と結論づけている。当サイトは2026年5月から8月にかけて、モデルがリリースされるたびにGDPval-AA（第三者機関Artificial Analysisが算出するElo版）のスコアを記事化してきた。今回、その8件分を時系列に並べ、論文の主張と自社の実測データを突き合わせた。

3行まとめ

1. OpenAIのGDPval論文（arXiv 2510.04374）は要旨で「frontier model performance on GDPval is improving roughly linearly over time」（フロンティアモデルのGDPval性能はほぼ線形に改善している）と述べている。
2. 当サイトが2026年5月20日〜8月26日の間に報じた8件のモデルリリースからGDPval-AAスコアを集めると、1656→1618→1747.8→1668→1861→1769→1890→1773と推移し、単調な右肩上がりではなく上下動を繰り返している。
3. 最高値（1890、Claude Opus 4.8）から4日後に発表されたモデル（GLM-5.3-Flash）は1773と、117ポイント低いスコアで登場している。「一番新しいモデルが一番高スコア」という単純な構図ではない。

OpenAIの論文が言っていること

arxiv.org/abs/2510.04374の要旨を直接取得して確認した。該当箇所をそのまま引用する。

"We find that frontier model performance on GDPval is improving roughly linearly over time, and that the current best frontier models are approaching industry experts in deliverable quality."

（訳）「フロンティアモデルのGDPvalでの性能は時間とともにほぼ線形に改善しており、現時点で最良のフロンティアモデルは、成果物の質において業界の専門家に近づきつつあることがわかった」

GDPvalは、米国GDP上位9セクター・44職種の実務タスク（平均14年の実務経験を持つ専門家の作業を基に構成）でAIモデルを評価するベンチマークだ。この論文の主張を、実際のモデルリリースの実測値で検証できないかを試みた。

自社アーカイブから集めた8点のデータ

当サイトが各モデルのリリース時に報じた記事から、GDPval-AA（Elo形式のスコア）と発表日を集計した。いずれも各社・各記事が報告する自社発表値または第三者機関Artificial Analysisの測定値で、測定条件が完全に統一されているとは限らない点は注記しておく。

この8点を発表日順に折れ線としてたどると、1656から1618へ一度下がり、1747.8まで上がって1668へまた下がり、1861まで上がって1769へ下がり、1890まで上がって1773へ下がる——という、山と谷を4回繰り返すジグザグの軌跡になる。全体としては期間の始点（1656）より終点（1773）のほうが高く、大まかな右肩上がりの傾向自体はある。だが「ほぼ線形」と呼べるほど滑らかな直線には見えない。

論文本文を読むと、「線形」の根拠はもっと狭い話だった

要旨だけでなく論文本文（arXiv 2510.04374のHTML版）をcurlで取得して読むと、「roughly linearly」という主張の根拠が、この記事が比較していたものとはかなり性質の異なるデータであることが分かった。

論文の"3.1 Headline results"節、Figure 6のキャプションはこう書かれている。

"Figure 6: Performance of OpenAI frontier models increased roughly linearly over time on the GDPval gold subset. We evaluated GPT-4o, o4-mini, o3, GPT-5, Claude Opus 4.1, Gemini 2.5 Pro, and Grok 4 using blind pairwise comparisons by professional industry experts"

つまり「線形に改善している」という結論は、GPT-4o・o4-mini・o3・GPT-5・Claude Opus 4.1・Gemini 2.5 Pro・Grok 4という7つの特定モデルを対象に、業界の専門家による人手のブラインドpairwise比較（どちらの成果物が優れているか、人間が2つを見比べて判定する方式）で算出した「勝率」の推移についての主張だった。

これは、この記事が集計に使った「GDPval-AA」（第三者機関Artificial Analysisが独自に算出するElo形式のスコア）とは、算出方法も対象モデルも異なる。論文本文を全文検索したところ、"Artificial Analysis"および"GDPval-AA"という語は、この論文には一度も登場しない。GDPval-AAはOpenAIの論文が定義した指標ではなく、Artificial Analysis社が後から独自に構築した派生指標だと分かる。

つまりこの記事の前半で行った「8点のGDPval-AAスコアをプロットしてみたら線形に見えない」という検証は、OpenAI論文が「線形」と主張した対象（2025年時点の7モデル・人手のpairwise勝率）そのものへの反証にはならない。比較しているのが、同じ名前のベンチマーク（GDPval）を使っていても、評価方法も対象モデルも異なる、別の指標同士だったことになる。

なぜジグザグになるのか

理由は単純で、この表の各行は「その時点で最も性能が高いモデル」ではなく「その時点でリリースされたモデル」のスコアだからだ。各社のモデルは、フラッグシップ級とコスト重視の軽量級（Flash、Liteなど）を使い分けて発表することが多く、軽量モデルの発表が続けば表面上のスコアは一時的に下がる。実際、GLM-5.3（1769）の4日後に発表されたGLM-5.3-Flash（1773）はほぼ同水準だが、Claude Sonnet 5（1618）はOpus系列の下位モデルとして設計されており、同時期のフラッグシップ（Opus 5、1861）とは意図的に性能を差別化している。

前章で確認した通り、OpenAIの論文が言う「線形の改善」は、2025年時点の7モデルを対象にした人手pairwise勝率の話であり、この記事が集めたGDPval-AA（Artificial Analysis社のElo指標）のリリース順推移とは、そもそも測っているものが違う。ジグザグになった理由についての「フラッグシップ級と軽量級の使い分け」という説明は、あくまでGDPval-AAスコア側の推移を読み解くための、この記事側の解釈にとどまる。今回集めたフロンティア級モデルだけ（Opus 5:1861、Opus 4.8:1890）を見れば、この2点間では上昇している。

GDPval-AAという指標自体が、この5ヶ月の間に一度作り変わっていた

Artificial Analysis社の公式メソドロジーページ（artificialanalysis.ai/methodology/intelligence-benchmarking）と変更履歴ページ（/changelog）をcurlで取得すると、GDPval-AAという指標そのものが、この記事の集計期間（2026年5月20日〜8月26日）のただ中でバージョンアップしていたことが分かった。

変更履歴ページに記載されたタイムラインを時系列で並べるとこうなる。

（出典：Artificial Analysis Changelogページの当該箇所をcurlで取得し原文確認）

つまり、この記事が集計した8点（2026-05-20〜2026-08-26）は、ちょうど「Version 4.0.4（旧v1、採点モデルはGemini 3.1 Pro Preview）」から「Version 4.1（新v2、Elo再ベースライン化・3判定者パネル）」への切り替わりをまたいでいる。メソドロジーページには次の記述もある。

"GDPval-AA v2 Elo scores are frozen at the time of a model's addition and normalized as clamp((Elo - 500) / 2000) for inclusion in the Intelligence Index." （訳）「GDPval-AA v2のElo値は、モデルが追加された時点で固定され、Intelligence Indexへの算入のためにclamp((Elo - 500) / 2000)で正規化される」

「モデルが追加された時点で固定される」という記述が正しければ、v1時代に測定されたモデルのスコアはv2移行後も遡って再測定・再ベースライン化はされない。この記事の表にある8点のうち、どの行がv1基準で、どの行がv2基準（人間の専門家=1000にアンカリング）で測定されたのかは、Artificial Analysisが公開している情報からは各モデルの個別の測定日までは特定できず、この記事では確認できていない。ただし「v1とv2でElo値の基準点が異なる」という事実だけで、単純な時系列プロットに数十〜百ポイント規模のズレが混入していてもおかしくない。前章までの「線形かどうか」という論点に加えて、「そもそも8点全部が同じ物差しで測られているとは限らない」という、もう一段手前の留保が必要だと分かった。

プロットしたのはわずか8点、線形性を検定できる数ではない

• この記事のタイトル・前提そのものに留保が必要である。 論文本文を確認した結果、OpenAIが「線形」と主張した対象（2025年時点の7モデル・人手pairwise勝率）と、この記事が集計した対象（2026年の8モデル・Artificial AnalysisのElo指標）は別物だと分かった。したがってこの記事のジグザグの発見は、OpenAI論文の主張への反証にはならない。「同じ名前のベンチマークでも、指標が違えば見え方も変わりうる」という限定的な観察にとどめて読んでほしい。
• 8点というサンプル数は少なく、統計的に「線形かどうか」を検定できる規模ではない。 これはGDPval-AAスコア自体の推移についても同様で、当サイトの限られたデータで単純に時系列プロットした場合にどう見えるかを示したものにとどまる。
• GDPval-AAはv1からv2へ、この記事の集計期間中（2026年6月〜8月、Version 4.1）にElo算出方法が変わっている。 人間の専門家の成果物を1000にアンカリングし直し、判定者も単独LLMから3体のパネルへ変更された。この記事の表の8点それぞれが厳密にv1基準かv2基準かは、Artificial Analysisの公開情報からは特定できていない。
• openai.com本体のGDPvalページは、JavaScript必須のSPAで本文を直接取得できなかった（curlではレンダリング前のシェルHTMLしか得られない）。 論文本文（arXiv版）とArtificial Analysisの公式メソドロジーページは確認できたが、OpenAI公式サイト上の一般向け解説ページの記載とは突き合わせていない。
• Figure 6のグラフ画像そのもの（勝率の具体的な数値、7モデルそれぞれのプロット位置）は、この記事ではキャプション文のみを引用しており、画像内の数値までは読み取っていない。

出典・確認した一次情報

• OpenAI, GDPval論文（arXiv 2510.04374、2025年10月5日、arxiv.org/html/2510.04374）。curlで本文HTML版を直接取得し、要旨の「roughly linearly」の一文に加え、根拠となっているFigure 6のキャプション（対象7モデル・評価手法）を本文3.1節から確認。論文全文を検索し、"Artificial Analysis"「GDPval-AA」という語が本文に一度も出てこないことも確認した。arXivアブストラクトページ（arxiv.org/abs/2510.04374）では、投稿履歴が[v1]（2025年10月5日提出）のみで改訂版が存在しないこと、主分野がMachine Learning (cs.LG)であることを確認した。
• Artificial Analysis社の公式メソドロジーページ（artificialanalysis.ai/methodology/intelligence-benchmarking）とChangelogページ（/changelog）。GDPval-AAがv1（2026年1月・Version 4.0で追加）からv2（2026年6月〜8月・Version 4.1でアップグレード）へ変更されたタイムラインと、Elo再ベースライン化・判定者パネル変更・「モデル追加時点でのElo値固定」という仕様を原文で確認した。
• 当サイトの既報記事8件（Gemini 3.5 Flash、Claude Sonnet 5、GPT-5.6 Sol、Kimi K3、Claude Opus 5、GLM-5.3、Claude Opus 4.8、GLM-5.3-Flashの各リリース記事）に記載のGDPval-AAスコアと発表日を集計。各記事は公開時点でそれぞれの一次発表・第三者機関発表を確認済み。

URLは2026年8月27日にcurl -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)"で直接取得・確認した。