「アーキテクチャがすべてを証明した」──ARC Prize創設者が2024年12月、スケーリング則の限界を言い切った理由

「スケーリング則さえ守っていれば、計算資源とデータを増やすだけでAGIに近づける」という考え方に対し、抽象推論ベンチマーク「ARC-AGI」の開発者フランソワ・ショレ（元Google、Keras開発者）は明確に異を唱えてきた。2024年12月20日、OpenAIの新モデルo3のARC-AGIスコアを検証した直後のブログ記事で、その立場を明文化している。原文を確認する。

• ショレは2024年12月20日のARC Prizeブログで「o3のGPTシリーズに対する向上はアーキテクチャがすべてを証明している」と明言し、単純なスケールアップの限界を主張した
• o3は高効率設定でSemi-Private評価の75.7%（1タスク約26ドル）、低効率設定（計算量172倍）で87.5%を記録。GPT-3の0%・GPT-4oの5%から大きく伸びた
• ARC-AGIの土台にあるのは、ショレが2019年の論文「On the Measure of Intelligence」（arXiv:1911.01547）で示した「知能＝スキル習得効率」という定義で、英語や専門知識ではなく人間が生まれつき持つ「コア知識」だけを使う設計思想がある

o3が叩き出したスコア

ARC Prizeブログの記事本文を確認した数字は次の通り。

比較として、ARC-AGI-1は2020年のGPT-3の0%から2024年のGPT-4oの5%まで、4年かけてこの水準だったと記事は書いている。高効率設定の75.7%というスコアは、ARC-AGI-Pub公開リーダーボードのコスト制限（1万ドル未満）の範囲内で、当時の1位に相当したとしている。

「アーキテクチャがすべてを証明した」という主張

記事の核心となる一文はこうだ。「o3のGPTシリーズに対する向上は、アーキテクチャがすべてを証明している。GPT-4にもっと計算資源を投入しても、この結果は得られなかっただろう。2019年から2023年までやってきたこと──同じアーキテクチャを使い、より多くのデータでより大きなバージョンを訓練すること──を単純にスケールアップするだけでは不十分だ。さらなる進歩には新しいアイデアが必要だ」。

この主張の背景として、記事はLLMの動作原理についての著者独自のモデルを提示している。「私のメンタルモデルでは、LLMはベクトルプログラムのリポジトリとして機能する。プロンプトを与えられると、そのプロンプトが対応するプログラムを取り出し、目の前の入力に対して『実行』する」。この「記憶・取得・適用」というパラダイムは、適切な訓練データがあれば任意のスキルを任意のレベルまで達成できるが、新奇性に適応したり、その場で新しいスキルを身につけたりすることはできない、と説明する。「これはARC-AGI──新奇性への適応力を測るために特別に設計された唯一のベンチマーク──でのLLMの低いパフォーマンスに如実に表れている。GPT-3は0点、GPT-4はほぼ0点、GPT-4oは5%止まりだった。これらのモデルを可能な限りスケールアップしても、ARC-AGIのスコアは何年も前の総当たり探索が達成していた水準（最大50%）にすら遠く及ばなかった」。

o3が何を変えたのか

ショレは、o3がこの限界を突破した理由を、新奇性への対応に必要な2つの要素で説明している。第一に知識（利用できる再利用可能な関数・プログラムの集合）——LLMはすでに十分すぎるほど持っている。第二に、新しいタスクに直面したときにこれらの関数を組み合わせ、その場で新しいプログラムを作る能力——「プログラム合成」であり、これがLLMに長らく欠けていた要素だとする。「oシリーズのモデルはこれを修正した」と述べ、o3の核心的な仕組みは「トークン空間内での自然言語プログラム探索と実行」であり、AlphaZero的なモンテカルロ木探索に近い形で、思考の連鎖（Chain of Thought）の空間を探索していると推測している。

なぜ「英語力」や「専門知識」ではなく測るのか──ARC-AGIの設計思想

ショレのこの主張は、思いつきではなく2019年の論文「On the Measure of Intelligence」（arXiv:1911.01547、2019年11月5日投稿、11月25日改訂）に理論的な土台がある。論文のAbstractは、知能の定義について次のように述べている。

"We then articulate a new formal definition of intelligence based on Algorithmic Information Theory, describing intelligence as skill-acquisition efficiency and highlighting the concepts of scope, generalization difficulty, priors, and experience."

「知能」を特定タスクの巧さ（スキルそのもの）ではなく、「スキルを習得する効率」として再定義し、この定義に基づいてARC（Abstraction and Reasoning Corpus）というベンチマークを設計した、という内容だ。この論文の考え方はARC Prize公式サイトの解説ページにも引き継がれている。

"AGI is a system that can match the learning efficiency of humans."

ARC Prizeが掲げるAGIの定義は「人間の学習効率に匹敵するシステム」というものだ。タスクを解けるかどうかではなく、限られた経験からどれだけ効率よく新しいスキルを獲得できるかを問う。

さらに、ARC-AGIが英語の読解力や専門知識を問う問題を避け、人間が生まれつき、あるいは幼少期にごく自然に獲得する認知の基礎（心理学者エリザベス・スペルキの「コア知識」理論に基づく）だけを使う理由についても、同ページはこう説明している。

"If a benchmark included, for instance, tasks involving written English, it would immediately disadvantage any AI that hadn't been extensively pre-trained on vast text corpora. It would also disadvantage humans that did not know English. English, or any language, is a cultural artifact, not a measure of inherent cognitive ability."

英語の読解が必要なベンチマークだと、英語の大量学習データを持たないAIにも、英語を知らない人間にも不公平になる。言語は文化的な産物であり、生得的な認知能力の指標ではない、という理屈だ。同ページはこの設計方針を「Easy for Humans, Hard for AI（人間には簡単、AIには難しい）」という一言でまとめている。ショレが12月20日のブログで示した「LLMは記憶したプログラムを取り出して実行するリポジトリに過ぎず、新奇性への適応力に欠ける」という主張は、この2019年からの一貫した設計思想の延長線上にある。

重要な但し書き：o3-previewは訓練時にARC-AGI-1データの75%を見ていた

12月20日のブログ記事本文には書かれていないが、2025年4月22日付のARC Prizeブログ「Analyzing o3 and o4-mini with ARC-AGI」（著者Greg Kamradt）で、この75.7%／87.5%というスコアの前提条件が明かされている。

"Training Data: OpenAI stated that o3-preview included 75% of the ARC-AGI-1 dataset during training."

（訓練データについて：OpenAIは、o3-preview（12月にテストされたモデル）の訓練にARC-AGI-1データセットの75%が含まれていたと述べた）

つまり、記事冒頭で紹介した75.7%／87.5%というスコアを出したo3-previewは、ARC-AGI-1のタスクの大半をあらかじめ訓練データとして見た状態で評価されていたことになる。この事実は、ショレの「アーキテクチャがすべてを証明した」という主張の説得力そのものを揺るがすものではないが、スコア単体を「未知の問題への汎化能力」の証拠として読む場合には、押さえておく必要がある前提条件だ。

正式リリース版のo3は、同じベンチマークで大きくスコアを落とした

同じ2025年4月22日付の記事によれば、2025年4月にOpenAIが正式リリースしたo3（一般公開版）は、12月にテストされたo3-previewとは別のモデルだとOpenAI自身が確認しており、テスト時計算量の制約も異なる。ARC Prizeが正式版o3を同じARC-AGIベンチマークで再評価した結果は次の通りだった。

記事はこの落差の理由として、モデル自体が別物であること・訓練データにARC-AGI-1が直接含まれていたわけではないが公開ベンチマークゆえの間接的な露出はあり得ること・製品向けにチャット用途でファインチューニングされていることなどを挙げている。ARC-AGI-2（2025年3月導入のより難しい後継ベンチマーク）では、正式版o3はlow・medium設定いずれも3%未満にとどまったとも報告されている。

「これはAGIか」への著者自身の回答

記事は「ARC-AGIは、飽和したベンチマークでは検出できない汎化能力を検出するための重要な指標として機能する。しかし、ARC-AGIはAGIのリトマス試験紙ではない——これは今年何十回も繰り返してきたことだ」と釘を刺している。その上で著者自身の見解として「ARC-AGIに合格することはAGIの達成と同義ではなく、実際、私はo3がまだAGIだとは思わない。o3は非常に簡単なタスクでも失敗することがあり、人間の知能との根本的な違いを示している」と明記している。

内部動作の説明は著者自身「推測」と明記している

• 本記事はARC Prizeブログの当該記事本文を確認して書いたものであり、o3のその後の正式リリース版（記事は「今回テストしたプレビュー版とは別物」と2025年4月16日付で追記している）でのスコア変化までは確認していない。OpenAI公式サイト（openai.com）でこのo3発表の一次情報を直接確認しようと試みたが、本記事執筆時点（2026年8月27日）でボット対策により403エラーで取得できなかった。
• 「アーキテクチャがすべてを証明した」という主張は、ARC-AGIというベンチマーク上での結果に基づく著者個人の解釈であり、スケーリング則そのものを全面否定する主張として一般化できるかどうかは、この記事単体では判断できない。
• 記事中で説明されているo3の内部動作（トークン空間でのプログラム探索）は、著者自身が「今のところ推測にとどまる」と明記している内容であり、OpenAIが公式に確認した仕組みではない。
• 2025年4月の正式版o3の再評価（41%／53%、ARC-AGI-2は3%未満）までは本記事で確認したが、それ以降・2026年8月時点での最新モデルの評価は本記事の範囲外。関連する数字は別記事ARC-AGI-2の最高スコアはいくつか、「AGIはまだない。これがその証拠だ」を参照。

AGIの定義論争全体はAGI（汎用人工知能）とは何かを参照。

この記事は2026年8月27日時点でARC Prize公式ブログを確認して書いたものです。