ARC-AGI-2の最高スコアはいくつか──「37.6%」を一次ソースで確認した

抽象推論ベンチマーク「ARC-AGI-2」の最高スコアは、いま何%なのか。当サイトは以前、別のモデル紹介記事で「48.3%（出典未確認）」という数字を自己申告つきで掲載したことがある。今回、ARC Prize財団自身の公式ブログを一次ソースとして確認し直した。

3行まとめ

1. ARC Prize財団（2025年12月5日付ブログ）によると、検証済み商用モデルの最高スコアはOpus 4.5（Thinking, 64k）の37.6%、1タスクあたり2.20ドル。
2. Gemini 3 Proにモデル精緻化ループ（Poetiq社開発）を組み合わせた非公式の手法は54%、1タスクあたり30ドルまで到達しているが、これは通常の商用モデル単体のスコアではない。
3. コスト制約付きのKaggleコンペ2025優勝手法（NVARC）は24.03%にとどまり、精度とコストのあいだに大きなトレードオフがある。

検証済み商用モデルの最高は37.6%

arcprize.org/blog/arc-prize-2025-results-analysisを直接取得して確認した。該当箇所をそのまま引用する。

"As of today, the top verified commercial model, Opus 4.5 (Thinking, 64k), scores 37.6% for $2.20/task."

（訳）「本日時点で、検証済み商用モデルの最高はOpus 4.5（Thinking, 64k）で、1タスクあたり2.20ドルで37.6%を記録している」

「検証済み（verified）」という限定がついている点が重要だ。ARC Prize財団は、企業の自己申告値をそのまま採用するのではなく、財団自身が独立に測定・検証したスコアだけをこの数字として扱っている。

54%まで到達している「精緻化ループ」とは何か

同じブログにはもう一つ高いスコアが登場する。

"The top verified refinement solution, built on Gemini 3 Pro and authored by Poetiq, scores 54% for $30/task."

（訳）「検証済みの精緻化ソリューションの最高は、Gemini 3 Proを基盤にPoetiq社が開発したもので、1タスクあたり30ドルで54%を記録している」

本文の別箇所では、この手法についてもう少し詳しい説明がある。

"we have verified a new Gemini 3 Pro refinement, open sourced by Poetiq, which improves performance on ARC-AGI-2 from baseline 31%, $0.81/task up to 54%, $31/task."

（訳）「Poetiq社がオープンソース化した新しいGemini 3 Pro精緻化手法を検証したところ、ARC-AGI-2でのベースライン性能31%（1タスク0.81ドル）から54%（1タスク31ドル）まで向上した」

つまり「54%」は、Gemini 3 Pro単体のスコアではなく、アプリケーション層で複数回の推論・精緻化ループを重ねる後処理手法を組み合わせた結果だ。コストもベースラインの0.81ドルから31〜30ドルへと、およそ40倍近くに膨らんでいる（本文中の2箇所でそれぞれ「$30/task」「$31/task」という近い数字が使われており、厳密な一致は確認できていない）。財団は本文でこの点を「2025年後半に登場したフロンティア商用モデル群（Gemini 3、Claude Opus 4.5等）にアプリケーション層の精緻化ループを追加すれば、タスク遂行の信頼性を意味あるレベルで改善できることを示す重要な知見」と位置づけている。

開発元Poetiq社自身のブログ（2025年12月5日付）を確認すると、この「$30/task」「$31/task」表記の揺れの正体が分かった。同社は正確な数字として「54% at $30.57 per problem」と記載しており、ARC Prize側の2つの表記はこの$30.57ドルを四捨五入・切り上げした結果とみられる。さらに同社ブログは、この54%到達以前の直近の最高スコアについても触れている。

"The previous best score of 45% was set by Gemini 3 Deep Think and cost $77.16 per problem."

つまり、Poetiq社の手法が登場する直前の最高記録は「Gemini 3 Deep Thinkによる45%、1タスク77.16ドル」だった。そこからPoetiq社の手法（2025年11月20日に予備結果を発表、12月5日にARC Prizeが公式検証）で「54%・30.57ドル」へと、正答率を上げながらコストを半分未満に下げる形で更新された、という経緯になる。Poetiq社は同社の手法を「Gemini 3 Deep Think」の45%と比較して「約半分のコストで新記録（Shatters ARC-AGI-2 State of the Art at Half the Cost）」と位置づけている。11月20日付の発表記事も確認したところ、この時点ではARC-AGI-2のPublic Eval Set（公開評価セット、非公開のSemi-Private/Privateとは別物）での予備的な結果が示されており、「Gemini 3・GPT-5.1のリリースから数時間以内に統合してSOTA結果を達成した」と説明されている。12月5日の記事はこの予備結果がARC Prize財団によって非公開のSemi-Private Eval Setで正式に検証されたことを報告するものだ。

非公開評価セットの中身：120問×3種類、400人超で較正

ARC Prize公式のベンチマーク仕様ページ「ARC-AGI-2」を直接確認したところ、評価に使われるデータセットの構造が明記されていた。

「較正済み（calibrated）」というのは、統計的に類似した難易度になるよう調整されている（3つの評価セット間のスコア差は1ポイント未満に収まると想定）という意味で、この較正のために2025年初頭にサンディエゴで400人超の一般市民を対象にした対面調査を実施し、「2回以内の試行で少なくとも2人が解ける」という基準で全タスクを選定したという。ページの変更履歴（changelog）によれば、各評価セットは元々100問だったのが120問に拡張され、（2020年の初代Kaggleコンペで解かれていたような）総当たり探索で解けてしまうタスクは除外されたと明記されている。また、ARC-AGI-2からはコスト・効率性を明示的に測定する方針が導入されたともある。

37.6%（検証済み商用モデル）・54%（精緻化ループ込み）・24.03%（コスト制約付きコンペ優勝手法）のいずれも、この非公開のPrivate/Semi-Private Eval Set（120問）に対するスコアだということが、これで裏付けられた。

コスト制約下のKaggleコンペでは24.03%

ARC Prizeは毎年、計算コストに上限を設けたKaggleコンペティションも開催している。2025年の優勝手法「NVARC」のスコアを、本文の結果表で確認した。

NVARC 24.03% Code | Paper | Video

同じ表には、2位「the ARChitects」16.53%、3位「MindsAI」12.64%と続く。NVARCの手法概要についても本文に説明があり、「合成データで訓練したtest-time-trainingモデルとTRMベースの手法を組み合わせたアンサンブルで、コンペの制約下でARC-AGI-2で約24%に達する」という趣旨の記載がある。

この記事の確認過程で、ARC Prize公式ブログ自身の中に小さな数字の不一致があることにも気づいた。順位表（Place/Prize/Team/Score形式の表）では3位MindsAIのスコアは「12.64%」だが、同じブログ内の「Top Scores」という文章形式の解説パートでは、同じMindsAIの手法を指して「a competitive 15.42% ARC-AGI-2 score」という別の数字が使われている。どちらが最新・正式な数字かはブログ本文からは判別できず、本記事ではこの不一致をそのまま記録するにとどめる。

なお、同じブログには「Paper Awards」という別枠の表彰もあり、こちらは順位表のスコアではなく研究内容の評価で選ばれている。1位はAlexia Jolicoeur-Martineau氏の「Tiny Recursive Model（TRM）」で、パラメータ数わずか約700万の単一ネットワークでARC-AGI-1に約45%、ARC-AGI-2に約8%到達したという。1タスク数十ドルをかける大規模モデル群とは対照的に、極小モデルでも一定のスコアが出ている点は、精度とコストの関係を考える上で参考になる。

37.6%（検証済み商用モデル、1タスク2.20ドル）と24.03%（コスト制約付きコンペ優勝手法）の差は、「使えるコストに上限を設けるかどうか」で結果が大きく変わることを示している。

「48.3%」はどこから来た数字だったのか

当サイトは別記事「Google、Gemini 2.5 ProにDeep Think推論モードを追加」で、ADI Insights（Medium）を出典とする比較表の中に「ARC-AGI-2 | 48.3%（出典未確認）」という数字を掲載していた。当該記事自身が、出典記事が既にリンク切れであることを明記した上で「鵜呑みにしないでほしい」と注記している。

今回ARC Prize財団の公式ブログで確認できた最高値（検証済み商用モデル37.6%、非公式の精緻化手法込みで54%）と照らすと、48.3%という数字がどのモデル・どの測定条件によるものかは、今回の調査でも特定できなかった。37.6%と54%のあいだに収まる数字ではあるが、それ以上のことは言えない。

「48.3%」の出所とMindsAIの正確なスコアは今回も特定できなかった

• 「48.3%」という数字の出所・測定条件は、今回も特定できなかった。 出典とされたADI Insights記事自体が既にリンク切れで確認不能であることは、以前の記事の時点で判明済み。
• MindsAIの正確なスコア（12.64%か15.42%か）は、ARC Prize公式ブログ内の記載の不一致により特定できなかった。 順位表の数字（12.64%）を本文では採用したが、これが正式な最終スコアだと確定させる根拠は今回の調査範囲にはない。
• 今回確認した37.6%・54%・24.03%の各スコアが測定された時期（モデルのバージョン差）については、ブログ本文の日付（2025年12月5日）以外の詳細は確認していない。 なお54%についてはPoetiq社自身のブログで「$30.57/task」という正確な数字が確認でき、ARC Prize側の「$30/task」「$31/task」という2つの近い表記は、これを丸めたものと推測できるが、この推測自体をARC Prize側に直接確認したわけではない。
• 「Gemini 3 Deep Thinkが45%・$77.16/taskだった」という直前の最高記録は、Poetiq社が自社ブログで比較対象として挙げた数字であり、ARC Prize公式ブログ側でこの45%という数字を独立して確認したわけではない。
• Kaggleコンペの計算コスト上限の具体的な数値（何ドル・何時間分か）は、Kaggle公式コンペページがJavaScriptレンダリングに依存しておりcurlでは静的に取得できず、今回の調査範囲でも未確認のままだった。
• 較正調査（サンディエゴ、400人超）の実施時期は「2025年初頭」という記載のみで、具体的な月日は確認できなかった。

出典・確認した一次情報

• ARC Prize Foundation, "ARC Prize 2025: Results & Analysis"（2025年12月5日、arcprize.org/blog/arc-prize-2025-results-analysis）。curlで直接取得し、Opus 4.5の37.6%、Poetiq/Gemini 3 Proの54%、Kaggleコンペ結果表（NVARC 24.03%）、Paper Awards（TRM等）を本文中で確認。
• ARC Prize Foundation, "ARC-AGI-2"（ベンチマーク仕様ページ、arcprize.org/arc-agi/2/）。curlで直接取得し、Training/Public Eval/Semi-Private Eval/Private Evalの4セット構成・タスク数・較正方法を確認。

URLは2026年8月27日にcurl -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)"で直接取得・確認した。