LLMは『次の実験で何が起きるか』を予測できるか──Scale AIの新ベンチマークSciPredictを読む

科学研究のコストの大半は、「やってみないと分からない」実験に費やされる。もしLLMが「この実験をやったらどうなるか」を事前に高い精度で言い当てられるなら、無駄な実験を減らせるかもしれない——という発想のベンチマーク「SciPredict」を、Scale AIとスタンフォード大学などの研究者らが2026年4月にarXivで公開した。論文本文と付属のGitHubリポジトリを確認した。

3行まとめ

• SciPredictは、2025年3月31日以降に発表された物理・生物・化学の実証研究33分野から作った405問で、LLMに実験結果を事前予測させるベンチマーク。モデルの精度は14〜26%、人間専門家の精度は約20%で、一部のフロンティアモデルは人間を上回った
• しかし「自信の較正（キャリブレーション）」では人間の方が明確に優れている。人間は「予測しやすい」と判断した問題では正答率が約5%から約80%まで上がるのに対し、モデルは自信の高さや予測可能性の判断によらず正答率が約20%のまま変わらない
• GitHubリポジトリ（scaleapi/scipredict）は2026年4月8日作成、star数9（この記事の確認時点）。ライセンス表記はGitHub API上で確認できなかった

「知識」ではなく「予測」を測るベンチマーク

論文のAbstractは、既存のLLM評価との違いをこう説明する。

While existing benchmarks evaluate LLMs on scientific knowledge and reasoning, their ability to predict experimental outcomes - a task where AI could significantly exceed human capabilities - remains largely underexplored.

（既存のベンチマークはLLMを科学的知識と推論で評価するが、実験結果を予測する能力——AIが人間の能力を大きく上回りうるタスク——はこれまでほとんど探求されていない）

つまりSciPredictが測ろうとしているのは「教科書的な知識を知っているか」ではなく、「まだ結果の分からない実験について、その結果を当てられるか」という、科学的発見の加速に直結する能力だ。405問は、物理・生物・化学の33の専門分野にわたる実証研究から作られており、GitHubのREADMEには「2025年3月31日以降に発表された実証的な科学研究から導出」と明記されている——モデルの学習データに含まれていない可能性が高い、比較的新しい研究を選んでいるということだ。

精度14〜26%、人間の専門家は約20%

Abstractが示す核心的な数字はこうだ。

Model accuracies are 14-26% and human expert performance is $\approx$20%. Although some frontier models exceed human performance model accuracy is still far below what would enable reliable experimental guidance.

（モデルの精度は14〜26%、人間専門家の性能は約20%である。一部のフロンティアモデルは人間の性能を上回るものの、モデルの精度は依然として、信頼できる実験指針として使える水準を大きく下回っている）

数字だけ見ると「一部のモデルは人間の専門家を超えた」という部分が目を引くが、著者ら自身が「信頼できる実験指針として使うにはまだ程遠い」と釘を刺している点は重要だ。14〜26%という数字は、正解率で言えば5回に1回も当たらない領域も含む水準であり、「使える予測」と呼べる精度ではない。

較正（キャリブレーション）では人間がはっきり優位

この論文が単なる精度比較で終わっていないのは、次の指摘があるからだ。

Even within the limited performance, models fail to distinguish reliable predictions from unreliable ones, achieving only $\approx$20% accuracy regardless of their confidence or whether they judge outcomes as predictable without physical experimentation. Human experts, in contrast, demonstrate strong calibration: their accuracy increases from $\approx$5% to $\approx$80% as they deem outcomes more predictable without conducting the experiment.

（限られた性能の中でも、モデルは信頼できる予測とそうでない予測を区別できず、自信の高さや、物理的な実験なしに結果が予測可能だと判断したかどうかにかかわらず、正答率は約20%のままだった。対照的に人間の専門家は強い較正能力を示す。実験を行わずに結果が予測しやすいと判断した問題では、正答率が約5%から約80%まで上昇した）

これは「モデルが弱い」という単純な結論ではない。人間の専門家は「この実験は結果を読みやすい」と感じたときに実際に正答率が跳ね上がる——つまり自分の判断の信頼性を自分で見積もれている。一方でモデルは、自信満々に答えていても、控えめに答えていても、正答率がほぼ変わらない。論文はこれを「超人的な性能には、予測の精度だけでなく予測の信頼性への気づきが必要だ」という結論にまとめている。

著者陣とScale AIの別ベンチマークとの接点

論文の筆頭著者はUdari Madhushani Sehwag氏（Scale AI）で、Scale LabsのプロジェクトページをcurlしてAuthors欄をそのまま拾うと、共著者はElaine Lau・Haniyeh Ehsani Oskouie・Shayan Shabihi・Erich Liang・Andrea Toledo・Guillermo Mangialardi・Sergio Fonrouge・Ed-Yeremai Hernández Cardona・Paula Vergara・Utkarsh Tyagi・Chen Bo Calvin Zhang・Pavi Bhatter・Nicholas Johnson・Furong Huang（メリーランド大学）・Ernesto Gabriel Hernández Montoya・Bing Liuの計17名だった。GitHubのREADMEを確認すると、APIキーの設定方法について「ここで使われているのと同じフォーマットで」としてgithub.com/scaleapi/propensity-evaluationというリポジトリへのリンクが張られていた。これは同じ著者陣が関わる別のAI安全性ベンチマーク（後述するPropensityBenchの実装リポジトリと同名だが、GitHub上の組織パスは別）と接点を持つことを示しており、Scale AI周辺で複数の評価軸のベンチマークが並行して作られている様子がうかがえる。

評価対象モデルと3種類の出題形式

論文本体（PDF）までは読み込んでいないが、GitHubリポジトリのREADMEに埋め込まれた「Figure 1」の図表キャプションには、Abstractには出てこない具体的な評価条件が書かれていた。

We highlight four key failure modes using a representative subset of state-of-the-art models: Claude O4.5 (Claude Opus 4.5), OpenAI GPT-5.2, Gemini 3P (Gemini 3 Pro), Llama 3.3 (Meta Llama 3.3 70B), and Qwen 3 235B.

（最新モデルの代表的なサブセットとして、Claude Opus 4.5・OpenAI GPT-5.2・Gemini 3 Pro・Meta Llama 3.3 70B・Qwen 3 235Bの5モデルを使い、4つの主要な失敗モードを示す）

同じキャプションには、出題形式と条件による精度変化についても言及がある。

（出典: github.com/scaleapi/scipredictのREADMEに掲載されたFigure 1のキャプションを日本語化・表組み。分野別の具体的な数値は図中にのみ含まれており、テキストの範囲では読み取れなかった）

リポジトリとデータセットのメタデータ

GitHub APIとHugging Faceのデータセットカードをそれぞれcurlで確認すると、公開状況について次の違いが見えた。

（出典: api.github.com/repos/scaleapi/scipredict、huggingface.co/datasets/ScaleAI/SciPredict。GitHub側は作成から1分後の初回pushを最後に更新が止まっており、コード自体はほぼ初期状態のまま公開されているとみられる）

Scale Labsのプロジェクトページ(scale.com/research/scipredict)には、データセット設計の補足として「post-cutoff novelty(学習データ汚染を避けるため、2025年3月31日以降に初出のオンライン論文のみを使用)」「context toggling(背景知識の提供・非提供を切り替えて評価できる設計)」という2つの設計原則が明記されていた。ページ上のプロジェクト公開日表記は「1/15/2026」となっており、arXivへの論文投稿日(2026年4月12日)より前の日付になっている——プロジェクトページとarXiv投稿のどちらが実際の初出かは、この記事の確認範囲では判断できない。

分かっていること・確認できていないこと

• 個々の405問の内訳（物理・生物・化学それぞれの問題数）や、モデルごとの分野別の正答率は、Figure 1のキャプションで「分野ごとに一様ではない」と言及されているのみで、具体的な数値までは本文（PDF）を読んでいないため確認できていない。Scale Labsのリーダーボードページ(scale.com/leaderboard/scipredict)も開いたが、モデル別スコアの表はJavaScriptで動的に描画される仕組みになっており、curlで取得した静的HTMLの範囲では数値を読み取れなかった
• 論文はarXivのcs.AIカテゴリに投稿履歴が1件（v1、2026年4月12日）のみで、査読済みかどうか（会議・ジャーナルへの採録有無）はarXivのページからは確認できなかった
• 自分自身はこのベンチマークを実際に動かしていない。README記載の実行環境（Python、Hydra設定管理）は一見して複雑で、この記事は「読んで確認した」範囲にとどまる

物理・生物・化学の専門知識を持たない自分が読んでいても、「モデルは平均的な予測はできるが、自分がいつ間違えているかを知らない」という較正の弱さの指摘は、日々のプロンプト運用の感覚とも重なるところがあった。もっともらしく断定してくる回答ほど、実は当てにならないという場面には見覚えがある。

関連記事: LLMベンチマークの読み方──MMLU・HumanEval・Arenaの注意点 / 「AIに教える仕事」の運営側──Scale AIの専門家アノテーター制度「Human Frontier Collective」とは / GPT-4が人間アナリストに勝った──Chicago Boothの財務分析研究を読む

感想・指摘はコメント欄へ。