動画生成AIの『記憶』をKVキャッシュの外に出す──Alaya-EVOKEはH200で1.5秒分の映像を2.11秒で作り続ける

対話しながら動画を生成し続ける「インタラクティブ世界モデル」は、長く使い続けるほど「これまでの経緯を覚えておく」ことと「すぐに反応する」ことの両立が難しくなる。2026年8月13日にarXivで公開された論文「Alaya-EVOKE」は、この構造的なトレードオフに対して、記憶の持ち方と教師モデルの設計を同時に見直すことで対処している。著者はYuanyang Yin・Gongxuan Wang・Yifan Zhan・Chuanhao Li・Kaipeng Zhang・Feng Zhaoの6名。要旨だけでなくarXiv HTML版の論文本文、および比較対象になっているWBench・VBench-2.0それぞれの定義論文も確認した。

3行まとめ

1. 世界状態バンクは深度マップをカメラ姿勢で逆投影した「幾何情報」の外部ストアで、長時間セッション実験では2,160枚のピクセルフレーム（90秒分の幾何情報）を保持上限とし、3フレームに1枚だけ取り込むため実際のソースプールは最大720フレーム。1ステップあたり最大8枚の視点を共視性でランキングして参照する
2. WBench（158ケースのnavigation split）でEvokeはVideo Quality平均82.79・Setting平均83.76・Physical平均72.06で首位。ただしNavigation単体は78.63でHY-World 1.5の87.5に劣り、論文自身が「カメラ制御の現行実装の限界」と認めている
3. VBench-2.0では総合スコア66.77で公開リーダーボード10モデル中1位（僅差2位はGoogleのVeo 3、66.72）。一方VBench-Longでは85.11で10モデル中7位（首位IPOWは88.26）。ただしEvokeは3ステップ・CFGなしのサンプリングで、他モデルは各々のデフォルトの多ステップサンプラーを使っており、ステップ数を揃えた比較ではない、と論文自身が注記している

「長さ」と「応答速度」のトレードオフ

論文はまず、この分野が抱える根本的な制約をこう説明する。

"Interactive world models must support persistent memory, responsive interaction, and long-horizon generation, yet these requirements place conflicting demands on the model. Maintaining history in the denoiser context or key-value cache incurs growing cost, forcing a trade-off between session length and retained memory, while low-latency interaction relies on few-step generation whose capabilities are bounded by its teacher."

（対話型の世界モデルは、永続的な記憶・応答性の高いインタラクション・長時間にわたる生成のすべてを満たす必要があるが、これらの要件は互いに矛盾する要求を課す。履歴をデノイザーのコンテキストやKVキャッシュ内に保持し続けると、コストが増大し続け、セッションの長さと保持できる記憶量の間でトレードオフを強いられる。一方、低遅延なインタラクションは、少数ステップでの生成に依存しており、その能力は教師モデルの限界に縛られる）

つまり、「記憶をたくさん持たせようとするとKVキャッシュが膨らんでコストが上がる」「すぐに反応させようとすると生成ステップ数を減らす必要があり、その品質は教師モデル次第で頭打ちになる」という2つの制約が、同時に存在している。

解決策：記憶を外に出し、教師モデルを長時間監督向けに再設計

Alaya-EVOKEが取ったアプローチは2段構えだ。

"Alaya-EVOKE (Evoke) addresses both limitations by externalizing persistent world state and redesigning the teacher for long-horizon interactive generation. Scene geometry is maintained in an external, camera-indexed world state bank, from which only view-relevant information is retrieved, keeping the denoiser context bounded as the session grows."

（Alaya-EVOKE（Evoke）は、永続的な世界の状態を外部化し、長時間の対話的生成のために教師モデルを再設計することで、両方の限界に対処する。シーンの幾何学的構造は、カメラ視点でインデックス化された外部の「世界状態バンク」に保持され、そこから視点に関連する情報だけが取り出される。これにより、セッションが長くなっても、デノイザーのコンテキストは一定の範囲内に収まる）

「デノイザーのコンテキスト自体には全履歴を詰め込まず、外部のバンクに逃がして必要な分だけ取り出す」という設計は、LLMのRAG（検索拡張生成）的な発想を、動画生成モデルの空間的な記憶に応用したものだと理解できる。

教師モデルの側にも工夫がある

もう一方の柱、教師モデルの再設計についても具体的な説明がある。

"Rather than treating the teacher as a fixed generator, we design it for long-horizon supervision: its sparse attention combines chunk-wise grouping, retrieval of selected distant frames, and a linear-attention global state, yielding linear growth in memory and compute while enabling supervision over long horizons."

（教師モデルを固定された生成器として扱うのではなく、長時間の監督のために設計する。そのスパースアテンションは、チャンク単位のグルーピング、選択された遠いフレームの検索、線形アテンションによるグローバルな状態を組み合わせており、メモリと計算量の線形な増加に抑えながら、長時間にわたる監督を可能にする）

計算コストが時間とともに指数的・二次的に増えるのではなく、線形にしか増えない設計にすることで、長時間のセッションでも扱えるようにしている。

数字：H200で1.5秒分を2.11秒、生徒モデルは3ステップ

性能面での具体的な数字も示されている。

"A 30-second distribution-matching objective, applied under self-forced rollouts, transfers both capabilities to a three-step student that uses no classifier-free guidance, improving resistance to long-term drift while preserving responsive conditioning. With bounded context and recurrent external memory, Evoke supports open-ended, continuously evolving generation; on a single H200 at 384×640, each 1.5s chunk is generated in 2.11s."

（原文の解像度・秒数の表記はLaTeXの数式記法だったため、通常の数字表記に直して転記した。数値自体（解像度384×640、1.5秒、2.11秒）は変更していない）

（30秒間の分布マッチング目的関数を、自己駆動型（self-forced）のロールアウトの下で適用することで、両方の能力を、classifier-free guidanceを使わない3ステップの生徒モデルに転移させ、長期的なドリフト（内容のズレ）への耐性を高めつつ、応答性の高い条件付けを維持する。範囲が限定されたコンテキストと再帰的な外部記憶により、Evokeはオープンエンドで継続的に進化する生成をサポートする。単一のH200 GPU上、解像度384×640で、1.5秒分の映像チャンクを2.11秒で生成する）

「1.5秒分の映像を2.11秒で生成する」という数字は、リアルタイム（1.5秒で1.5秒分を作る）にはまだ届いていないものの、実用的な範囲に近い生成速度だと言える。3ステップという少ないステップ数で、これだけの品質を出せている点が、教師モデルの再設計による恩恵だと論文は主張している。

「世界状態バンク」の中身：深度マップをカメラ姿勢で逆投影した幾何情報

論文本文（arXiv HTML版）を読むと、外部化される「世界状態バンク」の具体的な作り方が説明されていた。

"The resulting depth maps are unprojected with the corresponding camera intrinsics and extrinsics and appended to the world state bank... Stored source views are ranked by co-visibility with the target view, and up to eight sufficiently distinct sources are selected and rendered through batched projection."

（推定された深度マップを、対応するカメラの内部・外部パラメータで逆投影し、世界状態バンクに追加する。保存されている視点は、目標視点との共視性（同じ場所が写っているかどうか）でランキングされ、十分に異なる最大8視点が選ばれ、バッチ処理された投影によってレンダリングされる）

つまり、映像そのものを記憶するのではなく、各チャンクから推定した深度マップ（3D形状の情報）をカメラ位置ごとにインデックス化して貯めておき、カメラが同じ場所に戻ってきたときにその形状情報を現在の視点へ再投影して条件付けに使う、という仕組みだ。この幾何コンディショニングは、拡散モデルの中でも最も解像度が粗い段階にだけ注入される、とも説明されている。

保持できる量には明確な上限（retention budget）がある。

"The configuration used for hour-scale experiments retains 2160 pixel frames, corresponding to 90s of geometry; because every third frame is ingested, the active source pool contains at most 720 frames."

（1時間規模の実験で使われた設定では、2,160枚のピクセルフレーム（90秒分の幾何情報に相当）を保持する。3フレームに1枚だけ取り込むため、実際のアクティブなソースプールは最大720フレームとなる）

論文はこれを「保持されている範囲内での持続的な想起であり、過去に訪れたすべての場所を無期限に記憶しているわけではない（persistent recall within retained geometric coverage rather than permanent recall of every location ever observed）」と、性質を明確に限定して説明している。

ベンチマーク結果：WBenchでは首位項目が多いが、カメラ制御は他モデルに劣ると論文自身が認める

論文はWBenchというベンチマークでの結果にも言及している。

"As a three-step world model, Evoke achieves state-of-the-art performance on WBench while remaining competitive on VBench-Long and VBench-2.0."

（3ステップの世界モデルとして、EvokeはWBenchで最高水準の性能を達成し、VBench-LongおよびVBench-2.0でも競争力のある結果を維持している）

要旨だけではここで止まっていたが、本文には実際のスコアが載っていた。まずWBench自体は、Evokeの著者らとは別グループ（Ying et al., 2026）が2026年5月にarXivで発表したベンチマークで、独立に確認した定義論文によれば「289ケース・1,058回のインタラクションターン」で構成され、Video Quality・Setting・Interaction・Consistency・Physicsの5分野を22種類の自動サブ指標で評価する。Evokeの論文が使っているのは、その中の「navigation split」というカメラ移動に特化した158ケースのサブセットだ。グループ別の平均スコア（0〜100、高いほど良い）を比較モデル群の最高値と並べると次のようになっていた。

Video Quality・Setting・Physicalの3グループでEvokeが最高値を記録している一方、Navigation（カメラ移動に沿って正しく進めているかの指標）は数値上他モデルより低い。論文自身もこの点を認めており、「Navigation and Perspective remain comparatively weaker, reflecting limitations of the current camera-control path that are analyzed separately.（NavigationとPerspectiveは相対的に弱く、現行のカメラ制御経路の限界を反映している）」と明記している。強みだけでなく弱みも論文が自己申告している箇所だ。

VBench-2.0とVBench-Longという、Evoke独自ではない汎用の公開リーダーボードでの順位も本文に記載があった。

VBench-2.0では、GoogleのVeo 3を僅差で上回り首位。一方VBench-Longでは7位に留まっている。ただし論文はこの比較にただし書きを付けている。

"Evoke is sampled in 3 steps with no classifier-free guidance, against peers running their own many-step default samplers, so neither comparison is step-matched."

（Evokeは3ステップ・classifier-free guidanceなしでサンプリングされているのに対し、比較対象は各々のデフォルトの多ステップサンプラーで動いており、いずれの比較もステップ数を揃えたものではない）

つまり、Evokeは少ないステップ数（＝速い）で他モデルの多ステップ生成に匹敵する画質を出している、という比較であり、同じ条件を揃えた上での純粋な画質勝負ではない点は、論文自身が注記している。

長時間セッションの検証：8セッション×65.5分、状態バンクは90秒分に限定

長時間動作時の安定性についても、具体的な実験条件が本文に書かれていた。

"For quantitative analysis, the eight 65.5-minute sessions show that extending the rollout does not lead to progressively increasing visual degradation... We therefore interpret these measurements as evidence against runaway long-session degradation rather than as evidence of permanent scene-identity preservation."

（定量分析として、8つの65.5分間セッションでは、ロールアウトを延長しても視覚的な劣化が進行的に増加することはなかった……したがって、これらの測定結果は、シーンの同一性が永続的に保存されていることの証拠としてではなく、長時間セッションでの制御不能な劣化に対する反証として解釈している）

この「8セッション×65.5分」は、それぞれ2,619チャンクの生成に相当し、世界状態バンクは90秒分の観測情報に制限された状態で行われた実験だと明記されている。論文自身が「シーンの同一性が永遠に保たれる証拠ではない」と、効果の範囲を限定的に述べている点は、誇張しない書き方として押さえておく価値がある。

動画生成AIにもRAG的な発想が広がりつつある

筆者は動画生成AIを使う際、長時間のセッションになるほど内容が破綻していく（キャラクターの一貫性が崩れる、背景が変わってしまうなど）現象を実際に目にすることがある。Alaya-EVOKEが取り組んでいるのはまさにこの問題で、「記憶を外部化する」という発想は、LLMの文脈でRAGが果たしている役割と類似した構図に見える。動画生成AIの分野でも、モデル内部にすべてを詰め込むのではなく、外部の記憶装置と組み合わせる設計が主流になりつつあるのかもしれない。

v1→v2の改訂差分と、付録の詳細表までは確認していない

• この論文は2026年8月13日の初版（v1、40,176KB）から8月18日に改訂（v2、48,127KB）されており、ファイルサイズは増えているが、arXivのページ自体には変更点の要約（changelog）は記載がなく、本記事はv2のみを読んでおり、両版の具体的な差分は確認していない
• 本文中で「Table 3」「Table 4」（VBench-2.0・VBench-Longの完全な順位表）「Table 5」「Table 6」（次元別の詳細内訳）として言及されている付録の詳細な数値表までは、本記事では読み込んでいない。本記事で示したのは、本文の地の文で言及されている集計値・上位比較のみ
• 「自己駆動型（self-forced）ロールアウト」による30秒の分布マッチング学習の具体的な損失関数・ハイパーパラメータまでは、本記事では立ち入っていない
• 実際に生成された動画（Figure 1などで言及されている2時間の連続ロールアウト映像）そのものは確認していない。論文中の記述と数値だけを根拠にしている
• 著者らの所属機関は、確認したarXivアブストラクトページ・本文冒頭には明記がなく、本記事でも特定していない

関連記事

• ワールドモデル（世界モデル）とは──「次の単語」ではなく「世界の次の状態」を予測するAI
• ローカルLLMとは何か──自分のPCでAIを動かす仕組み・利点・始め方を解説
• LLMベンチマークの読み方──MMLU・HumanEval・Arenaの注意点【2026年版】