動画生成AIの採点に「なぜそのスコアか」を残す──HarnessEval-Wはサブエージェントを分業させて評価の根拠を証拠の木にする

動画や物理現象を生成する「世界モデル」の出来を採点する際、単一のスコアだけでは「なぜそのスコアになったのか」が分からない。2026年8月17日にarXivで公開された論文「HarnessEval-W」は、この根拠の不透明さを解消するために、LLMエージェントの世界で定着している「ハーネス」という発想を、世界モデルの評価そのものに持ち込んでいる。

スコアだけでは「信頼できる評価」にならない

論文の問題意識は明快だ。

"A benchmark should deliver more than a scalar score: what makes an evaluation trustworthy is the reasoning that justifies the score. This is especially critical for world models, where judging a rollout requires understanding whether physics, causality, and world state evolve correctly. Humans spot such violations naturally, yet no existing benchmark automates this capability: metrics are computed brute-force, leaving no reasoning chain that can be examined or verified."

（ベンチマークは、スカラー値のスコア以上のものを提供すべきだ。評価を信頼できるものにするのは、そのスコアを正当化する推論である。これは世界モデルにとって特に重要だ——生成された動画（ロールアウト）を判定するには、物理法則・因果関係・世界の状態が正しく推移しているかを理解する必要があるからだ。人間はこうした違反を自然に見抜くが、既存のベンチマークはこの能力を自動化できていない。指標は力任せに計算されるだけで、検証・吟味できる推論の連鎖が残らない）

サブエージェントに部分問題を分業させ、親エージェントが統合する

HarnessEval-Wが採用する評価の仕組みは、階層的な構造になっている。

"Rather than applying a fixed rubric, HarnessEval-W interprets the context of each evaluation case, decomposes the evaluation question into measurable subproblems, and spawns specialized sub-agents, each equipped with tailored context and diagnostic tools to reason over its own subproblem. The parent agent then validates the gathered evidence and summarizes it into the final verdict. This hierarchical workflow turns every evaluation into a transparent evidence tree whose complete reasoning chain justifies the result."

（固定のルーブリック（採点基準）を適用するのではなく、HarnessEval-Wは各評価ケースの文脈を解釈し、評価の問いを測定可能な部分問題に分解し、専門化したサブエージェントを生成する。各サブエージェントは、それぞれの部分問題について推論するための、専用の文脈と診断ツールを備えている。親エージェントは、集められた証拠を検証し、最終的な判定にまとめる。この階層的なワークフローにより、あらゆる評価が、結果を正当化する完全な推論の連鎖を持つ、透明な「証拠の木（evidence tree）」になる）

固定のチェックリストに沿って機械的に採点するのではなく、評価対象ごとに「何を確認すべきか」を動的に決め、それぞれの確認事項を専門のサブエージェントに担当させる、という設計だ。最終的な判定は、この分業の結果を親エージェントが統合して出す。

数字：18モデル・330評価ケースで人間の選好に近い一致

論文が示す実証結果はこうだ。

"We apply HarnessEval-W to 18 representative world models over 330 evaluation cases. Its judgments closely align with human preferences while providing verifiable, fine-grained diagnoses of every generated rollout."

（HarnessEval-Wを、18の代表的な世界モデルに対して330の評価ケースで適用した。その判定は人間の選好と密接に一致し、同時に生成されたすべてのロールアウトについて、検証可能で細やかな診断を提供する）

要旨では「密接に一致（closely align）」という表現にとどまっていたが、本文（第5.3節）を読むと、具体的な数値が示されている。人間による評価は、9モデルの同一ケースについて生成動画のペアを比較させる形で5,000件のA/B判定を収集し、Bradley–Terryモデルでモデルごとの強さスコアに集約したという。この人間の順位づけとHarnessEval-Wのスコアを突き合わせた結果は次の通り。

さらに、既存ベンチマーク「WBench」の該当プロトコル（Event Edit／Causal Fidelity）と同じ動画・同じバックエンド（GPT-5.5）で比較した結果も本文に記載されている。

Across all three metrics, HarnessEval-W aligns substantially better with human judgment: on Physical, it raises pairwise accuracy from 31.9% to 71.7% while cutting the draw rate from 52.2% to 1.8%; on Intentional, it raises accuracy from 60.2% to 77.8% with draws falling from 36.1% to 11.1%; and it yields the lower Brier score in both settings.

（3つの指標すべてで、HarnessEval-Wは人間の判断とより強く一致する。Physicalでは、ペア単位の正解率が31.9%から71.7%に上がり、引き分け率は52.2%から1.8%に下がった。Intentionalでは、正解率が60.2%から77.8%に上がり、引き分けは36.1%から11.1%に下がった。両設定ともBrier scoreもより低い）

再現性についても、同じGPT-5.5バックエンドで温度0のまま3回ベンチマークを走らせ、人間の強さスコアとの相関を比較する頑健性テストが行われている。HarnessEval-Wは3回の相関が0.928〜0.964の範囲に収まり、フィット曲線の変動幅（envelope）は0.33 Bradley-Terry単位。一方、比較対象のWBenchは相関が0.646〜0.780とばらつきが大きく、変動幅は1.61単位（HarnessEval-Wの約4.9倍）だったと報告されている。

18モデルの内訳とリーダーボード（本文Table 2より）

要旨には書かれていなかった18モデルの内訳と順位は、本文のTable 2に記載されている。Prompt I2V（テキスト条件付け）・Native action（ネイティブなアクション制御）・Camera pose（カメラ視点制御）の3系統が、同じ330ケース・同じ評価軸で比較されている。上位10モデルの総合スコア（Overall、1〜100の正規化値）は次の通り。

（＊はクローズドソースモデル。表全体には18モデル中の残り8モデル、8軸すべての内訳スコアが掲載されている）

本文は「Seedance 2.0が総合1位（75.5）で、Wan 2.7（75.0）・Kling 3.0（74.4）・MiniMax H3（74.3）と続き、いずれもテキスト条件付けの汎用動画生成モデルであることが、大規模なテキスト条件付き学習による強い接地・予測能力の優位性を裏付けている」と分析している。一方で評価軸ごとに首位モデルは入れ替わり、たとえば意図的な変化への対応（Trans-I）と物理的介入への対応（Trans-P）はWan 2.7が、ドリフト耐性（Pers-D）はSeedance 2.0が、視点変更後の再訪一貫性（Pers-R）はHY-WorldPlay 1.5が、画面外での進行（Pers-O）はSANA-WMがそれぞれ最上位だった。本文は8つの評価軸のPearson相関も報告しており、Intentional TransitionとPhysical Transitionは強く相関する（r=0.98）一方、Render QualityとPhysical Observationはほぼ無相関（r=-0.04）、Exploratory Transitionは他の軸とほぼ無関係（r=-0.15、r=-0.18）だったという。

オープンソース化して「生きたベンチマーク」として運用する方針

論文は、このパイプライン自体を継続的に拡張していく方針も示している。

"We open-source the full pipeline as a live benchmark and invite the broad community to contribute to grow new skills and evaluation cases as world models evolve."

（パイプライン全体を、生きたベンチマークとしてオープンソース化し、世界モデルの進化に合わせて新しいスキルや評価ケースを追加していけるよう、広くコミュニティからの貢献を呼びかける）

固定された静的なベンチマークではなく、評価対象の世界モデルが進化するのに合わせて、評価用のスキル・ケース自体も拡張し続ける「生きたベンチマーク」という位置づけだ。

LLMエージェントの評価手法が、別分野の評価にも輸出され始めている

この論文が興味深いのは、「LLMエージェントのharnessパラダイム」という、本来はコーディングエージェントや対話エージェントの実行基盤を指す発想を、画像・動画を生成する世界モデルの「評価」という別の文脈に転用している点だ。本サイトの別記事で扱ったStateM（Terminal-Bench向けのハーネス）やGoose・Cline・Zedといったコーディングエージェントのハーネス機能は、いずれも「エージェントに何かをさせる」側の話だったが、HarnessEval-Wは同じ発想を「エージェントに評価させる」側に応用している。

「なんとなく不自然」を言語化する仕組みという理解

筆者は動画生成AIの出力を目視で確認する際、「なんとなく不自然」と感じても、その理由を言語化するのに苦労することが多い。HarnessEval-Wが目指しているのは、まさにこの「なぜ不自然だと感じたか」を、専門化したサブエージェントによる分業を通じて言語化・構造化する仕組みだ。ただし、この評価パイプライン自体もLLMエージェントによって構成されている以上、評価者側のバイアスや見落としが、評価結果に反映されてしまう可能性は残る。

発表元MirroSの実体・サブエージェントの中身までは追えていない

本記事は最終的にarXiv本文PDF（14ページ、参考文献含む）をすべて読んで書いている。18モデルの内訳・330ケースの構成比率（Exploratory 108件33%、Physical 66件20%、Intentional 51件15%、Drift/Revisit各34件10%、Offscreen 37件11%）・人間評価との一致率など、当初「要旨には無かった」としていた数値は、本文の第5章から確認できた。

一方で確認できていない点も残る。著者所属として論文1ページ目にTsinghua大学・北京大学・NVIDIA・CMU・UC Berkeley・MITなど多数の大学・企業ロゴが並んでいるが、これは共著者個人の所属であり、発表元「MirroS」という組織自体の実体（設立時期、資金調達状況、営利/非営利の別など）は、MirroS公式サイトのAboutページ相当の記載（"Building Physical RSI"というキャッチコピー）以上には確認できていない。また、サブエージェントが使う「診断ツール」の内部実装（VLMへの具体的なプロンプト、物理シミュレーションとの突き合わせの有無など）は本文の記述レベル（「同じバックエンド・温度・フレームサンプリング設定のVLMを使う」という記載）にとどまり、GitHubのコードリポジトリ自体をクローンしてソースを読む検証は行っていない。18モデルのうちいくつか（Grok Imagine 1.5、Kling 3.0など）はクローズドソースモデルとして脚注に注記されており、これらの評価結果は公開APIやアクセス権に依存する点も留意したい。Zenn記事検索（2026年8月27日実施）では「HarnessEval-W」に該当する日本語記事は見つからなかった。

関連記事

• ワールドモデル（世界モデル）とは──「次の単語」ではなく「世界の次の状態」を予測するAI
• LLMベンチマークの読み方──MMLU・HumanEval・Arenaの注意点【2026年版】
• AIエージェントとは──指示に答えるAIと、仕事を進めるAIの違いをわかりやすく整理する