「Large Discovery Model（LDM）」とは何か──「たぶんこれが良さそう」にベイズ統計で不確実性の物差しを足す設計

分子・タンパク質配列・コンピュータプログラムのように、評価コストが高く、構造化されていて、際限なく広がる仮説空間の中から良い候補を探すのが「科学的発見」の中核的な作業だ。LLMのような生成モデルはこうした空間に対する表現力の高い事前分布を与えてくれるが、その尤度や自己評価は、目的関数や較正された認識論的不確実性の代理としては信頼できないことが多い。特に、観測データの分布から外れた新規な候補ではその傾向が強い。2026年8月16日にarXivで公開された論文「Large Discovery Models: Empirically-grounded Model-Based Open-Ended Search」（著者Zhongwei Yuら12名）は、この問題に取り組んでいる。論文本文（curlで取得したHTML版）を確認すると、著者の所属機関はUniversity College London・The Hong Kong University of Science and Technology (GZ)・中国科学院自動化研究所（Institute of Automation, CAS）・吉林大学・天津大学・AI Lab, The Yangtze River Deltaの6機関にまたがっており、責任著者（Corresponding author）はUCLのJun Wang氏（jun.wang@ucl.ac.uk）と明記されている。

3行まとめ

• 論文は、候補設計を提案・改良する生成モデルと、その性能予測と不確実性の定量化を担うベイズノンパラメトリックな代理モデルを組み合わせた「Large Discovery Model（LDM）」を提案した
• ニューラルネットワーク学習・抗体設計・分子最適化の3領域で、比較対象「LLM-only reflection」に対しBPB削減で2.4倍、結合エネルギーで18.2%、分子多目的最適化のハイパーボリュームで62.4%それぞれ改善したと報告している
• コードはGitHub（yzailab/Large-Discovery-Models）で「LDM v0.1 release candidate」として公開済み。実際に自分の手元で動かして数字を再現したわけではない

生成モデルと「不確実性つき代理モデル」を組み合わせる

論文が提案する「Large Discovery Model（LDM）」は、経験的に裏付けられた再帰的アーキテクチャで、生成モデルとベイズノンパラメトリックな報酬代理モデルを結合している。生成モデルは候補設計を提案・改良し、代理モデルはその性能を予測しつつ不確実性を定量化する。この2つを組み合わせることで、候補の生成・改良・選択を導く「不確実性を考慮した価値」が得られる。発見メモリと代理モデルは、新しい実験観測が得られるたびに継続的に更新される仕組みだ。

3つの設計領域での検証

論文はLDMを、ニューラルネットワークの学習・抗体設計・分子最適化という異なる設計モダリティと目的にまたがる3つのシナリオで評価している。論文本文を確認すると、比較対象や数字の出どころがより具体的に分かる。

抗体設計では、LLM-only reflectionのほかに、離散配列空間向けに適応させた組み合わせベイズ最適化（TURBO・COMBO）、抗体設計に特化した既存手法AntBO、素朴なランダム探索という4種類のベースラインとも比較している。論文自身は「AntBOという領域特化手法に対する優越を主張するのではなく、LDMを競争力のある汎用最適化手法として位置づけることが目的」と明記しており、ドメイン特化の既存手法を無条件で上回ると主張しているわけではない点は書き添えておく必要がある。論文はこの結果から、LDMが開放的な仮説空間を効果的に探索する汎用の発見エンジンとして機能しうると結論づけている。

「自分の勘に自信満々なAI」をどう抑えるか

LLMに「この分子は良さそうですか」と尋ねると、根拠が薄くても自信満々な返事をしてしまうことがある。これは、LLMの自己評価（自分の出力にどれだけ自信を持っているか）が、実際の性能や不確実性と一致しているとは限らないためだ。特に、学習データの分布から外れた未知の候補について聞かれたときにこの傾向が強くなる。論文が導入した「ベイズノンパラメトリックな報酬代理モデル」は、生成モデルの自己申告とは別に、独立した統計的な仕組みで「どれだけ自信を持って良いと言えるか」を計算し直す役割を担う。生成モデルが提案した候補を、この代理モデルが実測データと照らし合わせて評価し、「有望だが不確実」な候補と「有望で確実」な候補を区別できるようにする、という設計思想だ。この考え方自体は統計学における「探索と活用のトレードオフ」という古くからある問題に根差しており、LDMはそれをLLMベースの生成モデルに接続した試みだと位置づけられる。

論文の抗体設計実装（Table 2）では、LDMの内部で「候補をどう生成するか（Base Measure）」と「複数候補からどう1つを選ぶか（Reduction Rule）」を独立に切り替えられる設計になっており、実際に4つの組み合わせ（Direct_Max・Direct_Softmax・Policy_Max・Policy_Softmax）を実装・比較したとされている。Base Measureには、トークン単位で直接配列を生成する方式と、LLMの出力から構造化された探索ポリシーを組み立てる方式の2種類があり、Reduction Ruleには単純に最大値を選ぶ方式と、確率的な重み付け（Softmax）で選ぶ方式の2種類がある。この2×2の設計を切り分けて比較していること自体が、「生成モデルの選び方」と「代理モデルによる評価の統合の仕方」を別々のコンポーネントとして扱うLDMの設計思想を裏付けている。

論文自身が認める限界と、探索を「重み」に蒸留する仕組み

論文の第7章（Related Work）末尾には、この枠組み自体の限界について次のような記述がある（curlで取得したHTML版より）。

「現行フレームワークの限界には、正確なガウス過程が観測数に対して3乗のスケーリングをする点、そして代理モデルの誤指定（misspecification）や報酬の悪用（reward exploitation）のリスクが含まれる。今後の課題は、より大きな実験予算へのスケーラビリティと、より頑健な代理モデリングに取り組むことだ。」（原文: "Limitations of the current framework include the cubic scaling of exact Gaussian processes with observation count, and the risk of surrogate misspecification or reward exploitation."）

つまり、LDMの核心である「不確実性つき代理モデル」は正確なガウス過程（exact Gaussian process）を使っており、観測データが増えるほど計算コストが3乗で増大する。また代理モデル自体が実態とズレる、あるいは生成モデルが代理モデルの穴を突いて評価だけ高いが実質的に無意味な候補を出してしまう「reward exploitation」のリスクも、論文が自ら明記している。

第8章（Conclusion）はさらに、「post-training amortisation（訓練後の蒸留）」という仕組みにも触れている。論文は、探索時（test-time）に高コストで実行した探索ポリシーを、推論拡張つきの教師あり微調整（reasoning-augmented supervised fine-tuning）によってモデルの重みそのものに蒸留し、推論時の計算コストを下げつつ探索品質を保つ、と説明している。前段で確認したHugging Face上の「LDM-CoT-SFT-Qwen3.5-9B-MixedScience」は、この蒸留プロセスの成果物にあたると考えられる。

GitHub READMEが自ら「draft」と位置づけるタスクがある

GitHub公式リポジトリのREADMEをさらに読み込むと、リポジトリが内部で「draft」（実行例レベル）と「qualified」（機械可読な証拠つきで検証済み）というステータスを区別していることが分かる。README原文（curlで取得）はこう明記している。

「nanoGPT・small-molecule・antibody・adaptive KV-cacheの各タスクはdraftの実験契約のままであり、ベンチマークとして検証済みの実装ではなく、実行可能な例として扱うべきである。AI4Bioの変異効果予測とdiscrete causal-discoveryのタスクは、ソースに紐づいた検証済み契約と、campaign_qualifiedによる機械可読な証拠を持つ。」

つまり、論文の目玉である3つの評価領域（ニューラルネット学習=nanoGPT、抗体設計、分子最適化=small-molecule）は、GitHubリポジトリ自身の分類では「draft」（未検証の実行例）にとどまり、「qualified」（検証済み）の扱いを受けているのは、論文の主要な数字には登場しない別の2タスク（AI4Bioの変異効果予測、離散的な因果探索）だという。

さらにREADMEは、3タスクそれぞれについて100回評価の実演キャンペーン結果（抗体：結合エネルギーが-88.56→-96.72に改善、小分子：Paretoハイパーボリューム22.808、nanoGPT：val_bpbが0.986220→0.981844に改善）を紹介した直後に、次のように釘を刺している。

「改善する曲線は最適化が進んでいる証拠ではあるが、LDMという要素についての制御された因果的な推定ではない。LDMの優位性を確立するには、複数のシード、および無作為・純粋LLM・BOのみ・獲得関数アブレーションのベースラインと比較する必要がある。」

つまり、GitHub上のこの100回評価のデモ実行は単一シードでベースライン比較なしの実演であり、リポジトリの著者自身が「これだけではLDMの優位性の証明にはならない」と明言している。論文本文が報告する2.4倍・18.2%・62.4%という数字は、この単純なデモとは別の、より厳密な比較設定（複数のベースライン手法との比較を含む）で得られたものであり、両者を混同しないよう記事中でも区別して書いた。

抗体設計の実験データそのものは検証していない

この記事はarXivの論文本文（HTML版）とGitHub公式実装のREADMEを実際に開いて書いている。2.4倍・18.2%・62.4%という数字は論文が報告した実験結果であり、この記事の執筆にあたって抗体設計や分子最適化の実験データそのものを検証したわけではない。抗体設計の比較対象については、論文本文から「Pure LLM approaches」「TURBO・COMBOを離散配列空間向けに適応させた組み合わせベイズ最適化」「領域特化手法AntBO」「ランダム探索」という4カテゴリーを特定できたが、これらの実装が公開されている論文自体を1つずつ遡って確認したわけではない。LDMが実際に発見した抗体や分子が、実験室での検証（wet-lab validation）を経たものかどうかについても、この記事の範囲では確認できていない。

GitHubの公式リポジトリ（yzailab/Large-Discovery-Models）を確認すると、READMEには「2026年8月・LDM v0.1リリース候補（release candidate）」という表記があり、正式リリース版ではなくリリース候補の段階だと自己申告されている。生成モデルの教師役として「自己ホストしたDeepSeek V4 Flash」を使ったという記述も論文本文（Table 5のキャプション）にあったが、この教師モデルの選定理由や、他モデルでの再現性については論文の範囲を超えるためこの記事では扱っていない。

リンク先のHugging Face組織ページ（yangtze-ailab、企業タイプのアカウントとして登録されており、公式サイトはyangtzeailab.com）では、「Yangtze-ailab/LDM-CoT-SFT-Qwen3.5-9B-MixedScience」というモデルが公開されているのを確認できました（ページ上の相対表示では「11日前」と出ていましたが、これは閲覧時点からの相対日付のため、この記事では公開の絶対日付として扱いません）。名前の「Qwen3.5-9B」は、論文本文Table 6のアブレーション実験で「Base Qwen3.5-9B」として登場していたベースモデルと一致しており、LDMの実装がQwen3.5-9Bをベースにした派生モデルであることの裏付けが取れました。また論文本文には、NVIDIA B200 GPUを使った「マッチドハードウェアのリーダーボード実行」でval_bpb=0.902291という値に到達した、という記載もありましたが、この実行環境の詳細（GPU枚数や実行時間など）についてはこの記事では確認していません。

関連記事

• AI医療診断 最新事例と課題──画像診断・創薬・カルテ【2026年】
• ファインチューニング やり方・費用・いつ使うべきか【2026年入門】
• 推論モデルとは何か──通常のLLMとの違いと使い分けの基準