Ai2、LLMによる研究アイデアの新規性判定は不安定と報告プロンプトの違いでGPT-5.4の正答率が93.5%から40.9%に

Ai2は2026年10月27日（日本時間28日1時台）、LLMに研究アイデアの「新規性」を判定させる方法がどれだけ頼れるかを調べた論文「Old Ideas, Novel Problems」を、ベンチマーク・データ・コードとともに公開した。Hugging FaceのブログでAi2が説明している。同社によると、6つのLLM判定役を試したところ、評価の設定を少し変えるだけで同じアイデアへの判定が大きく変わった。GPT-5.4の例では、プロンプトを替えただけで正答率が93.5%から40.9%に落ちたという。

3行まとめ

1. Ai2が2026年10月27日、新規性判定の信頼性を調べた論文「Old Ideas, Novel Problems」と、ベンチマーク・データ・コードを公開
2. GPT-5.4は、AI生成アイデアとの比較でプロンプトを替えると正答率が93.5%から40.9%に低下。Ai2の報告では、人間の査読にもとづくアイデア同士の比較でのズレは約7ポイントだった
3. 新規性評価専用の2システム（Idea Novelty Checker 0.642、AI Scientist 0.772）は、簡単なClaude（クロード）Opus 4.6のプロンプト（0.854）に及ばなかったとAi2は報告

本記事の内容は、日本時間10月28日1時台に公式ページで確認したものです。

何を公開したのか

Ai2の説明では、公開物は大きく4つある。

• 論文「Old Ideas, Novel Problems」
• 新規性の判定役（novelty judge）を試すためのベンチマーク
• データとコード
• 新しい評価セットを作るための自動パイプライン

novelty judgeとは、研究アイデアが先行研究に対して新しいかどうかを、単独で、または別のアイデアと比べて判定するLLMのことだ。Ai2は、AIが研究アイデアを生成する流れの中で、この判定をLLMに任せる場面が増えていると書いている。判定役の作り方に標準はなく、モデル、プロンプト、評価形式、推論の量、場合によっては文献検索の仕組みまで、チームごとに選んでいるという。しかも多くの判定役は、実際に評価させたいAI生成のアイデアではなく、人間が書いた論文で検証されているとAi2は指摘する。

どうやって「新規性の正解」を用意したのか

ここが今回の研究の土台になる。Ai2は、ICLR 2026の査読を使った自動パイプラインを組んだ。論文が採択されたかどうかを新規性の代わりにはせず、査読コメントの中で査読者が貢献の独創性に明示的に触れている箇所を拾った。採択されても新規性が高いとは限らず、落ちた論文に独創的な貢献がある場合もあるからだ、とAi2は説明している。

評価セットは2種類ある。

Human+Generatedのジェネレーターには、研究領域と「新規なアイデアを出せ」という指示だけを渡した。文献検索、ツール、反復、フィードバックは使っていない。Ai2はこのAI生成側を「人間側より新規性が低いと仮定した弱いラベル」で、すべてのアイデアについて検証した判断ではないと明記している。

ラベルの確認も行われている。査読から抽出した新規性のシグナルの向きについて、アノテーターは50件中47件で一致した。食い違った分も、査読者が新規性を褒めたか疑ったかの区別は変わらなかったという。さらに専門家がHuman+Generatedの30組を独立に見た。最も成績の良い判定役が間違えた例に大きく偏らせた抽出で、結果は30組すべてで人間のアイデアを選び、AI生成側に新規と判断したものはなかった。人間とAIのアイデアを共通の構造に書き直し、文体の違いに反応しているだけではないかも調べたとある。

プロンプトを変えるとどうなったのか

試した判定役は、GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6の6つ。単独で絶対評価させる方式（pointwise）と、2つを比べさせる方式（pairwise）の両方で、プロンプト、推論の量、関連論文を見せるか、アイデアの書式、判定を何回まとめるか、そしてAI生成アイデアの場合はどのモデルが作ったか、を1つずつ変えた。最も大きく動いたのはプロンプトだったと書かれている。

具体例はこうだ。GPT-5.4に、人間の検証済みアイデア1つとAI生成アイデア1つの組を見せ、次の2通りで聞いた。

• 「査読者は各組でちょうど1つを新規と判断した。どちらか」と伝えるプロンプト
• ただ「どちらが新規か」を尋ねるシンプルなプロンプト

シンプルな方に替えると、正答率は93.5%から40.9%に下がった。Ai2はこれを「偶然の水準を下回る」と説明し、同じ組の半数超で判定が入れ替わったとも書いている。

Human-Onlyでも動きはあったが、AI生成アイデアを含む場合ほど大きくはなかった。Ai2はここから、判定役は人間が書いた研究では比較的安定して見えても、AI生成のアイデアでは別の振る舞いをしうる、と読んでいる。

「どのプロンプトでも良い」という正解もなかった。単独評価で、些細な改良や増分を新規とみなさないよう注意する指示を外すと、判定役によって精度が上がったり下がったりした。あるモデルでうまく働くプロンプトが別のモデルに移せるとは限らない、というのがAi2の見立てだ。

2つのAIジェネレーターの出力を比べる使い方も試された。Claude Opus 4.5とClaude Sonnet 4.5、GPT-5.4とGPT-5.1の組だ。試したプロンプト変更の範囲で、6つの判定役の平均で判定の4分の1から3分の1ほどが入れ替わった。どちらのジェネレーターがより新規かを仮定せずに測れる不一致だとAi2は述べている。ラベルに頼らない、判定の不安定さそのものを示す結果になる。

検索と推論を増やせば良くなるのか

Ai2の答えは「一貫してそうとは言えない」だ。GPT-5.6 Solに「extra-high」の推論予算とarXiv限定のライブ反復検索を与えた判定役を、5本の要旨を事前に取得して見せる標準的な判定役と比較した（いずれもHuman+Generatedで1アイデア1回の実行）。

• 検索つきの判定役：macro-F1が0.78
• Claude Opus 4.6：0.89（11ポイント上）
• Claude Opus 4.5とGPT-5.4の簡単な構成：検索つき判定役と同程度の範囲
• 1回の判定あたりの費用：検索つきは現行のAPI価格で約10倍

macro-F1は、新規なアイデアとそうでないアイデアをどれだけ見分けられたかの指標で、高いほど良いとAi2は説明している。

専用の評価システムは簡単なプロンプトに勝てなかった

Human+Generatedで、Claude Opus 4.6に簡単なプロンプトを与え、推論は低め、3回の呼び出しの多数決とした構成は、macro-F1が0.854、評価全体の費用は2.59ドルだった。比べた専用システムは次のとおり。

専用の2システムはどちらもClaude Opus 4.6を使い、1回の判定につき1回呼び出す設定だったとAi2は書いている。呼び出し回数が違う条件での比較だ、という点は読むときに押さえておきたい。簡単なプロンプトのほうが精度が高く、費用もかなり安かったというのがAi2の結論である。

研究アイデアを自動で評価するチームが使えるもの

提供や料金の話ではなく、公開された研究素材だ。今回のページが示すのは、論文・データ・コードが公開されたことで、誰かが自分の判定役を同じ土俵で試せるようになった点である。研究アイデアの自動生成や自動評価を手がけるチームは、判定役のプロンプトやモデルを替えたときの結果の揺れを、自前のデータで確かめる材料にできる。

Ai2は、科学的発見のさまざまな段階を支えるAIシステムとして、DataVoyager（構造化データの探索と分析）、AutoDiscovery（仮説の生成と検証）、Theorizer（大量の文献から候補となる科学理論をまとめる）などのAIシステムを開発していると書いている。これらの流れで「提案された研究アイデアが本当に新しいか」をどう見分けるかが課題になる、というのが今回の研究の動機づけだ。Ai2の他の最近の公開物は、OlmoEarth v1.3の記事やLLMの公平性ベンチマークFairStressの記事でも扱っている。

筆者が日本時間10月28日1時14分ごろに公式ページを取得した時点で、ページ上の公開日は2026年10月27日、掲載形式は「Enterprise Article」だった。同じ著者の関連記事として、10月23日付のLitPivotと10月22日付のOlmoEarth v1.3が並んでいた。ここまでは取得したページから言えることで、論文本体や公開データの中身は、今回は開いていない。

AI生成側のラベルは仮定、比較の条件も一部そろっていない

• AI生成側のラベルは仮定：Ai2が「弱いラベルで、すべてのアイデアの検証済み判断ではない」と書いている。専門家の確認は30組にとどまり、最も成績の良い判定役が間違えた例に偏った抽出だった。
• 数字はすべてAi2による測定：本記事は第三者が再現した結果を確認していない。論文と公開データ・コードは未検証。
• 試した範囲が限られる：6つの判定役と、ICLR 2026の査読をもとにした評価セットでの結果。Ai2は、新しい査読、他の科学コミュニティ、将来世代の判定役に使えるパイプラインだと述べているが、そこでの結果は今回のページにはない。
• 専用システムとの比較は条件が揃っていない部分がある：呼び出し回数が違う（簡単な構成は3回の多数決、専用2システムは1回）。
• プロンプトの全文は、今回取得したブログ本文には載っていない：93.5%から40.9%を生んだ2つのプロンプトの正確な文言は、ブログでは要約で説明されている。再現や比較を考える場合は、論文かコードで確認する必要がある。

今回読んだAi2のブログ記事

• Can we trust LLMs to judge whether a research idea is novel?（Ai2、Hugging Face Blog）: https://huggingface.co/blog/allenai/novelty-bench

上記ページを、日本時間2026年10月28日1時14分に確認した。ブログには論文・データ・コードへのリンクが付いているが、本記事ではそれらのページ本体を開いていない。本記事は続報があり次第更新します。