論文をAIに再現実装させると、コードは「動くのに違うもの」になる──『Semantic Alignment Units』で測る意味的ドリフト

論文の内容をAIエージェントにコードとして再現させる「Paper-to-Code」は、研究の再現性を高める用途として期待されている。しかし、動くコードができたからといって、論文が主張する仕様を忠実に再現できているとは限らない。この乖離を定量的に測る仕組みを提案した論文が、2026年8月25日にarXivで公開され、EMNLP 2026 Findingsに採択されている。

「動くのに、違うもの」という失敗

論文はまず失敗モードを特定する。

"LLM agents can generate paper reproduction code, yet often produce scientifically unfaithful implementations."

LLMエージェントは論文再現コードを生成できるが、しばしば科学的に不誠実な(論文の主張に忠実でない)実装を生み出す。著者らはこれを次のように定義する。

"We define this failure mode as semantic drift, where generated code silently diverges from the paper's specifications."

生成されたコードが論文の仕様から静かに乖離していく失敗モードを「semantic drift(意味的ドリフト)」と定義した。テストは通り、コードは動くのに、論文が実際に主張している手法とは違うものになっている、という状態だ。

SA-Bench:仕様を原子的な検証単位に分解する

この意味的ドリフトを検出するため、論文はICLR・ICML・NeurIPS 2025から30本の論文を対象にした診断ベンチマーク「SemanticAlign-Bench(SA-Bench)」を構築している。

"For each paper, we decompose its specifications into atomic and verifiable implementation claims, which we call Semantic Alignment Units (SAUs) and evaluate repositories along four diagnostic dimensions spanning numerical, methodological, protocol and ordering drift."

各論文について、その仕様を原子的で検証可能な実装上の主張に分解し、これを「Semantic Alignment Units(SAU)」と呼ぶ。数値・手法・プロトコル・順序という4つの診断次元にわたって、実装リポジトリを評価する仕組みだ。合計で5つの機械学習領域にまたがる1,491個のSAUを構築し、4つのモデル×3つのスキャフォールド(足場となる実装補助ツール)、計12の生成構成を評価している。

数字:最良構成でも1.0点満点中0.301点

"Even the strongest configuration (Claude+PaperCoder) achieves a mean SAU score of only 0.301 out of 1.0, with an overall mean of 0.221 across 360 evaluations."

最も強い構成である「Claude+PaperCoder」であっても、平均SAUスコアは1.0点満点中わずか0.301点にとどまり、360回の評価全体の平均は0.221点だった。失敗の内訳を分類したところ、エージェントの多くは要件のほとんどに「取り組もうとはしている」ものの、実装が誤っているケースが多く、実装の不一致とスタブ(未実装のダミー実装)がゼロ点となる主張の大半を占めているという。

これは「サボっている」というより「頑張ったが違うものになった」というケースが多数派だということを意味する。論文は失敗を数値・手法・プロトコル・順序という4つの診断次元に分けて分析しており、単に「合格・不合格」の二値ではなく、どの種類のズレが起きたのかを切り分けられる設計になっている点が、単純な実行可能性チェックとの違いだ。5つの機械学習領域・12の生成構成という組み合わせの広さから見ても、特定のモデル・特定の分野に限った弱点ではなく、現状のLLMベースの論文再現全般に共通する課題として提示されていると読める。さらに論文は、実行可能性を重視して最適化されたスキャフォールドは、科学的な再現という目的に対しては限られた効果しか持たず、意味論的な仕様の検証を優先するスキャフォールドが必要だと結論づけている。

論文の手法を業務に転用する前に

AIエージェントに研究論文の手法を実装させて業務に活用しようとしている場合、この論文の数字はかなり厳しい現実を示している。最良の組み合わせでもスコアが3割程度にとどまるということは、「動くコードができた」ことと「論文の主張を正しく再現できている」ことの間には、まだ大きな距離があるということだ。論文の手法をそのまま業務に転用する前に、数値・手法・プロトコル・順序という4つの観点で、生成されたコードが原論文の記述と本当に一致しているかを個別に確認する工程が欠かせない。AI論文検索ツールの活用についてはAI論文検索・読解ツール比較を参照してほしい。

1,491個のSAUを自分で数え直してはいない

本記事は、当サイトが論文の要旨を読んで書いている。1,491個のSAUの具体的な内容、30本の論文の個別のタイトル、4モデル×3スキャフォールドの具体的な組み合わせ(Claude+PaperCoder以外の構成)は、要旨には詳細が記載されておらず、本文PDFを読み込んでいないため確認できていない。「Claude」がどのバージョンを指すかも要旨からは明記されていない。Zenn記事検索(2026年8月27日実施)では「SA-Bench」「Semantic Alignment Units」に該当する日本語記事は見つからなかった。