150Mパラメータでタスク1件0.07銭──Pathwayの再帰アーキテクチャBDH-CQが「未学習のARC-AGI-1」を自作して測った理由

3行まとめ

1. BDH-CQは、Dragon Hatchling（BDH）というPathway社の再帰型post-Transformerアーキテクチャを拡張したモデルで、arXiv論文（2608.09888）は「入力を推論時に連想記憶へ継続的に反映しつつ、中間的な思考過程をテキスト化せず、高次元の潜在空間での反復計算でクエリを解く」と説明している。
2. 論文・GitHub READMEともに、150Mパラメータ構成でARC-AGI-1公開評価セットのpass@2が29.5%、推論コストはタスク1件あたり$0.0007という数値を報告している。GitHub READMEはこれを「7月30日の80%値下げ後のGPT-5.6 Luna（Low）と比べて11倍安い」と比較している。
3. 公開ベンチマークだけでは「モデルがそのタスクに事前に慣れている可能性」を排除できないため、Pathwayは新規のARC-AGI-1類似タスクを生成する専用ツールarc-task-genを同時公開し、公開ベンチマークと新規生成タスクの両方でBDH-CQを評価する体制を取っている。

Dragon Hatchling（BDH）とその拡張BDH-CQ

arc-task-genのGitHub READMEは、BDH-CQの土台にある「Dragon Hatchling（BDH）」というアーキテクチャを次のように説明している（原文引用と訳）。

It builds on Dragon Hatchling (BDH), a post-Transformer recurrent architecture in which neuron-like units communicate through low-rank interactions and maintain context in an evolving associative state.

（BDH-CQは、Dragon Hatchling（BDH）という土台の上に構築されている。BDHはTransformer後継の再帰アーキテクチャで、ニューロン様のユニットが低ランクの相互作用を通じて通信し、進化する連想状態としてコンテキストを保持する）

BDH-CQはこのアーキテクチャを拡張し、推論時に再帰的なメモリを連続的に更新しながら、クエリを高次元の潜在空間での反復計算によって解く。テキストベースの中間的な思考連鎖（chain of thought）を生成しない点が特徴だと説明されている。arXiv論文（2608.09888）のAbstractも同様に、「in-context learningと再帰的な潜在推論を組み合わせた推論モデル」「推論時に提示された入力が継続的にモデルの再帰記憶を更新し、モデルは中間推論を言語化せず高次元の潜在空間での反復計算によってクエリを解く」と説明している。

実測値──29.5% pass@2、$0.0007/タスク

論文とREADMEが揃って報告している数値は次の通り。

論文のAbstractは、この動作点を「これまで報告されていたARC-AGI-1のコスト対精度のパレートフロンティアを突破し、ベンチマークのコスト効率において新たなstate of the artを打ち立てた」と表現している。

「公開ベンチマークへの慣れ」を疑うためのarc-task-gen

Pathway社が同時公開しているarc-task-genは、ARC-AGI-1類似の新規タスクを生成するツールで、READMEは目的を「公開ベンチマークであるARC-AGI-1は、少数ショットでのルール推論と、モデルがすでにそのタスクに触れている可能性を完全には切り分けられない」という限界を補うためだと説明している。生成されるtasks.jsonは標準的なARCフォーマット（train/testのペア）に従い、既存のARC評価ハーネスと互換性がある。

READMEはさらに、BDH-CQのARC-AGI-1における結果について「独立した再現」が行われたことも明記している。

• Transformerアーキテクチャとtensorflowの共著者であるŁukasz Kaiser氏による評価・再現
• Bielikのコントリビューターであるremigiusz Kinas氏、およびNYU研究者のRichard Zhong氏による独立した再現（モデル評価とベンチマークの頑健性に焦点）

論文の著者リストにはB. Engdahl、A. Kosowski、J. Chorowski、Z. Stamirowska、P. Uznański、J. Jiang、R. Phadke、R. Kinas、R. Zhongの名前が並んでおり、上記の「独立した再現者」として名前が挙がるR. Kinas氏・R. Zhong氏は論文の共著者でもある。この点は、外部の第三者による完全に独立な検証ではなく、著者チーム内での再現作業である可能性を示唆している。

論文とツールの公開時期

BDHの一次論文はarXiv 2509.26507、Pathway公式ブログでも公表

前回時点では「arc-task-genのREADME経由でしか確認できていない」としていたBDH（Dragon Hatchling）の一次論文だが、arXivを直接検索したところ、2025年9月30日に投稿された論文「The Dragon Hatchling: The Missing Link between the Transformer and Models of the Brain」(arXiv:2509.26507、著者Adrian Kosowski・Przemysław Uznański・Jan Chorowski・Zuzanna Stamirowska ほか)が見つかった。このarXivページのComments欄には、実装コードがgithub.com/pathwaycom/bdhに、解説ブログがpathway.com/research/bdhに、それぞれ公開されていると記載されている。GitHub APIで確認したpathwaycom/bdhリポジトリは、2025年9月30日作成・スター3,530・フォーク248・MITライセンスで、arc-task-gen(スター8,753)ほどではないが一定の注目を集めていることがわかる。

さらに、BDH-CQ自体についてもPathway社の公式ブログに専用記事「Pathway's 150M-Parameter Model Breaks the ARC-AGI-1 Cost-Efficiency Frontier」(2026年8月11日付、プレスリリース形式)があり、GitHub READMEやarXiv抄録には無かった数値も含まれている。

つまり、BDH-CQ(29.5%)はGPT-5.6 Luna(Low)(34.2%)より正答率そのものは約4.7ポイント低く、「11倍安い」は精度で劣る分をコストの安さで補っている比較だとわかる。ブログ本文も「Luna scores 34.2% against BDH-CQ's 29.5%, a modest accuracy gain at 11 times the cost.」(Lunaのスコアは34.2%でBDH-CQの29.5%を上回るが、11倍のコストに対しては控えめな精度向上にとどまる)と、Pathway自身がこの点を認めている。

「独立した再現」の再現者はPathwayの投資家でもある

前回の記事では、GitHub READMEの記載に基づき「独立した再現」を行った人物としてŁukasz Kaiser氏(Transformer論文の共著者)、Remigiusz Kinas氏、Richard Zhong氏の3名を挙げ、Kinas氏・Zhong氏が論文の共著者でもある点を指摘していた。今回Pathway公式ブログの「About Pathway」欄を確認したところ、次の記載があった。

The company is backed by investors and advisors including Łukasz Kaiser, a co-author of the paper that introduced the transformer architecture.

(同社はŁukasz Kaiser氏を含む投資家・アドバイザーの支援を受けている。同氏はTransformerアーキテクチャを提案した論文の共著者だ)

つまりKaiser氏は、単に外部の著名研究者としてBDH-CQを評価しただけでなく、Pathway社自身の投資家・アドバイザーでもある。GitHub READMEの文言だけを読むと「Transformer論文の共著者による独立検証」という印象を受けるが、実際には評価者3名のうち2名が論文共著者、残る1名は投資家という関係にあり、完全に利害関係のない第三者による再現ではない。

ARC Prize側の一次情報までは確認していない

「11倍安い」という比較の分母になっているGPT-5.6 Lunaの価格改定（7月30日の80%値下げ）自体は、この記事のために別途一次確認はしておらず、Pathway側の記載をそのまま引用している。スコアとコストの出典としてPathwayのブログが挙げる「ARC Prize Foundationの公開リーダーボード」自体は、今回は直接確認していない。したがって34.2%というGPT-5.6 Lunaのスコアも、Pathway側の記載を経由した数値であり、ARC Prize側の一次データとの突合はできていない。arc-task-genが生成するタスクの難易度分布がARC-AGI-1本家とどの程度一致しているか、という妥当性の検証も、今回参照した範囲のドキュメントには無い。筆者はBDH-CQのモデルを手元でダウンロード・実行する検証はしていない（150M〜600Bという規模の実験で、大容量モデルのダウンロードは本記事の執筆ルール上見送っている）。Zenn記事検索では「Dragon Hatchling」に対し1件のヒットがあり、re:Invent 2025の紹介記事「Transformerを超える新AIアーキテクチャBaby Dragon Hatchlingの発表」が既に存在することを確認した。本記事はBDH自体の一般紹介ではなく、その拡張であるBDH-CQと専用評価ツールarc-task-genに焦点を当てている。

関連記事

• LLMベンチマークの読み方
• AI用語集