「ASI-Bench」とは何か──手法のヒントを取り上げるほどAIのスコアが50.91から26.62まで落ちるベンチマーク

「人工超知能（Artificial Superintelligence、ASI）」という言葉は、既存の知識を使いこなすだけでなく、未知を探索し、新しい知識を作り出し、新しいアイデアを検証可能な結果に変える能力までをAIに求める。2026年8月18日にarXivで公開された論文「ASI-Bench: At the Dawn of Artificial Superintelligence」は、今日のAIシステムの能力は依然として、既存の人類の知識を学習・圧縮・適用することの上に大きく成り立っていると指摘したうえで、既存のベンチマークの多くは「学習済みの知識にもとづいて正しい答えを出せるか」「人間の手厚いガイダンスの下でタスクを完了できるか」を測っているに過ぎない、という問題を提起している。要旨だけでなくarXiv HTML版の本文も確認した。

3行まとめ

1. ガイダンス段階は実は4段階（B1〜B4）ある。B1は手法・実装手順まで明示、B2は「手法のクラス」だけ提示、B3は科学目標とデータだけ、B4はB3に加えて無関係な情報を混ぜてかく乱耐性まで試す。要旨の50.91/29.10/26.62はB1/B2/B3の平均であり、B4は要旨には出てこない
2. コストと性能は比例しない。Claude Opus 5＋Claude Codeは1回あたり約2,728ドルでB3スコア40.70。Codex＋GPT-5.6 xhighはその4分の1以下の約684ドルでB3スコア40.86と、ほぼ同等の成績をより安く達成している
3. 同じ基盤モデルでもharness（実行環境）を変えるとスコアが動く。MiMo V2.5 ProはMiMo Codeで16.17だがClaude Codeに載せ替えると23.25に、Kimi K2.7はKimi Codeで19.72からClaude Codeで27.34に上昇。一方Kimi K3はKimi Code 36.22・Claude Code 37.09とほぼ差が出ず、harnessの効き方はモデルによって一様ではない

ガイダンスを「段階的に取り上げていく」という設計

ASI-Benchは、一般的な研究領域にわたって革新的な探索能力と自律的な科学実行能力を同時に評価する初めてのベンチマークであり、同じ研究プロジェクトの中で人間による手法上のガイダンスを段階的に取り上げていき、AIがどこまで自力で進められるかを測る初めての試みだと論文は位置づけている。構築には40名を超える専門家が携わり、3万1000人時間を超えるコストがかかったとされ、11の科学分野にまたがる60件のプロジェクトレベルの研究課題で構成されている。ガイダンスを段階的に減らしていくことで、AIが手法を自ら選び、研究を遂行し、検証可能な結果を生み出せるかどうかを試す設計だ。すべてのタスクは、専門家によるレビュー・AI支援の監査・サンドボックス実行・採点者の妥当性検証を経ているという。

ガイダンスを外すと、スコアが半分近くまで落ちる

論文が報告している中心的な結果は、18種類の最先端エージェント・モデル構成にわたる平均スコアの推移だ。手法まで含めて完全にガイダンスを与えた状態では平均50.91だったスコアが、手法だけを指定した状態では29.10に、そしてエージェント自身に手法まで決めさせる状態では26.62まで下がったという。論文はこの急落を「現在のシステムは依然として人間のガイダンスに大きく依存しており、自律的にプロジェクトレベルのエンドツーエンドの科学研究を行うにはまだほど遠い」ことの証拠だとまとめている。ASI-Benchは世界に対して公開されており、新しい課題の投稿や貢献を呼びかけている。

「答えを知っている」と「答えの出し方を知っている」の違い

多くのLLMベンチマークは「この問題に対する正しい答えは何か」を問う。ASI-Benchが測ろうとしているのはもう一段深く、「正しい答えの出し方（手法）そのものを、自分で見つけられるか」だ。料理に例えるなら、レシピ通りに作れるかを試すのが従来のベンチマークで、ASI-Benchは「レシピを与えられずに、この食材で何を作るべきかから考えさせる」ようなものだ。50.91から26.62までスコアが落ちるという結果は、現在のAIエージェントが「レシピ通りに実行する」段階では高い能力を示す一方、「何を作るべきかを自分で決める」段階になると急激に弱くなることを示している。この落差自体が、AI開発の次の焦点が「タスクをこなす能力」から「タスクの立て方を考える能力」へ移りつつあることを示すデータだと読める。

ガイダンスは実は4段階（B1〜B4）、要旨の3つの数字はB1・B2・B3

論文本文の付録には、同じ「2次元の非線形力学系」タスクを例に、4段階のガイダンスの違いが具体的に説明されていた。

要旨で紹介されている50.91→29.10→26.62という数字は、このうちB1・B2・B3の平均スコアの推移だ。B4（かく乱情報を混ぜた場合）のスコアは要旨には出てこず、本記事で確認した範囲の本文中の解説でも個別の平均値としては明記されていなかった。

なお、60件のタスク全体を通じて「2,600回を超えるやり取り（interaction turns）・2,400を超える実行ステップ・エージェントの実行時間にして35時間超」に及ぶ、とも本文にある。1つのプロジェクト単位の課題として、相当な長さの作業を要求する設計だと分かる。

コストは性能に比例しない：4分の1の値段で同等スコアの組み合わせも

論文はコストと性能の関係についても具体的な数字を出している。

原文はこう評している。

"Codex with GPT-5.6 xhigh achieves a B3 score of 40.86% at approximately $684 per run, closely matching Claude Opus 5 with Claude Code at 40.70%, despite costing only about one quarter as much as its $2,728 per-run cost."

（Codex＋GPT-5.6 xhighは、1回あたり約684ドルでB3スコア40.86%を達成し、Claude Opus 5＋Claude Codeの40.70%とほぼ同水準に並んでいる。しかもコストは、Claude Opus 5＋Claude Codeの1回あたり2,728ドルの、およそ4分の1に過ぎない）

一方で、最も高いB3スコア（51.60）を出したのはCodex＋GPT-5.6 Ultraで、これは約1,550ドルとClaude Opus 5＋Claude Codeより安いがCodex＋GPT-5.6 xhighより高い。論文は「性能を最大化したいならGPT-5.6 Ultra、コスト対効果を重視するならGPT-5.6 xhighという明確なトレードオフがある」とまとめている。全構成の中でB3スコア50を超えたのは、このGPT-5.6 Ultra構成のみだったという。

また推論の強度を上げる効果も具体的に示されている。GPT-5.6 SolをxhighからultraへとGPT-5.6 xhigh設定を強めると、B3スコアは40.86から51.60へ、10.74ポイント向上したとされている。

harnessを載せ替えるとスコアが動く、ただしモデルによって効き方が違う

同じ基盤モデルでも、周りのharness（コーディングエージェントの実行基盤）を変えると成績が変わる、という結果も報告されている。

"MiMo V2.5 Pro, for example, improves from 16.17 with MiMo Code to 23.25 with Claude Code, while Kimi K2.7 rises from 19.72 with Kimi Code to 27.34 with Claude Code. However, this effect is not uniform: Kimi K3 shows only a small difference between Kimi Code and Claude Code (36.22 vs. 37.09)."

（例えばMiMo V2.5 Proは、MiMo Codeでの16.17からClaude Codeでの23.25まで向上する。Kimi K2.7も、Kimi Codeでの19.72からClaude Codeでの27.34まで上昇する。ただしこの効果は一様ではなく、Kimi K3ではKimi CodeとClaude Codeの差はわずかしかない（36.22対37.09））

論文はこれを「科学的な能力は基盤モデル単体に帰属できるものではなく、モデルとharness（推論・実行・研究を組織化する仕組み）の相互作用から生まれる」証拠だと位置づけている。

ガイダンスが中途半端だと、逆にコストが増えるという逆説

もう一つ、直感に反する結果として、ガイダンスの完全さとコストの関係が挙げられている。

"B1... is the least expensive setting, requiring only 4.35M tokens and 37.8 minutes per task on average... More strikingly, B2 is the most expensive setting, requiring 6.91M tokens and 49.7 minutes per task—59% more tokens and 32% more time than B1. Providing only the method name therefore does not necessarily simplify research; instead, it can leave agents constrained by a prescribed direction while still requiring them to reconstruct the missing procedural details."

（B1……は最も安価な設定で、平均435万トークン・37.8分/タスクしか要さない……より驚くべきことに、B2が最もコストのかかる設定で、691万トークン・49.7分/タスクを要する。これはB1より59%多いトークン数・32%多い時間だ。手法の名前だけを与えることは、必ずしも研究を単純化しない。むしろエージェントを、指定された方向に縛られたまま、欠けている手順の詳細を自力で再構築させる分、余計な負荷を生むことがある）

完全にガイダンスを与える（B1）か、完全に自律的にやらせる（B3）かの両端よりも、中途半端にヒントだけ与える（B2）ほうがコストがかさむ、という逆説的な結果だ。

構築コストの内訳：候補1,300件超から60件へ、レビュー1,100件超

「40名超の専門家・3万1000人時間」という数字の内訳も、本文には具体的に書かれていた。1,300件を超える候補研究アイデアから出発し、5回のレビューラウンド、1,100件を超えるレビュー割り当て、2,000件を超えるタスク改訂を経て、最終的に60件が残った、とされている。さらに開発全体を通じて1,500回を超えるサンドボックス実行が行われ、実行時の安定性・再現性・成果物の生成・採点の一貫性が検証されたという。最終的にベンチマークに残ったタスクへの貢献者は21名の研究者だと、Appendixに別途記載があった。

論文本文には、データセットとリーダーボードの配布先へのリンクもあった。Hugging Face上のデータセットページ（huggingface.co/datasets/Apexintelligence-AI/ASI-Bench-seed31415）を確認すると、運営組織名は「Apex Intelligence」となっており、この記事の執筆時点でデータセットには19件の「いいね」が付いていた。リーダーボード自体（huggingface.co/spaces/Apexintelligence-AI/ASI-Bench-Leaderboard）も直接curlで取得したが、ページのog:descriptionには「Reviewed ASI-Bench leaderboard for AI-for-Science agents.」という説明文があるのみで、本体はapexintelligence-ai-asi-bench-leaderboard.static.hf.spaceという別ホストへのiframeとして埋め込まれたGradioアプリになっており、静的な取得では中身の順位表までは読み取れなかった。

B4のスコアと11分野それぞれの内訳までは確認していない

• B4（かく乱情報を混ぜた設定）の平均は要旨には出てこないが、本文には明記されている。全モデル平均は 26.99 で、論文は「Performance remains nearly unchanged in B4 (26.99 versus 26.62 in B3), further showing that irrelevant contextual information has little effect relative to the loss of procedural guidance.（B4では性能がほぼ変わらず、無関係な文脈情報の影響は、手順の案内を失うことに比べて小さい）」と書いている（2026年9月4日にarXiv HTML版を取得して確認）
• 11の科学分野（数学・物理学・化学・生物学・天文学・材料科学・地球科学・医学/生物統計学・計算機科学・ロボティクス・電気工学）それぞれで、18構成のスコアがどう分かれるかという分野別の内訳までは、本記事では踏み込んでいない
• コスト表に出てきた「1回あたり◯◯ドル」という金額が、API利用料のみを指すのか、実行環境（サンドボックス）のコストなども含むのかという算出範囲の定義までは、本記事の確認範囲では特定できなかった
• ASI-Benchのスコアが、実際の研究現場での「自律的な科学的発見能力」をどこまで正確に反映しているかという妥当性の議論についても、この記事の範囲では検証していない
• 60件のタスクそれぞれの具体的な研究課題名（付録に個別のケーススタディがある）までは、本記事では網羅的に読み込んでいない
• Hugging Face上のリーダーボード（Gradioアプリ）は動的に更新される可能性が高く、本記事では実際の順位表の中身までは確認できていない。本記事の数値はすべて論文本文（arXiv版）に固定テキストとして書かれている数字にもとづく

関連記事

• LLMベンチマークの読み方──MMLU・HumanEval・Arenaの注意点【2026年版】
• Deep Research（ディープリサーチ）ツールの実力比較、用途別の使い分けが見えてきた
• AI論文検索・読解ツール おすすめ比較【研究者向け2026年】