「DreamX-Phi」とは何か──ロボットの腕が「映像としては自然だが違う腕を動かしている」を防ぐ世界モデル

ロボットに「この手順で動け」と指示する前に、その動きが実際にどんな結果を生むかをシミュレーションできれば、失敗する行動を事前に弾ける。この考え方を担うのが「動画世界モデル（video world model）」だ。2026年8月13日にarXivで公開された論文「DreamX-Phi 1.0: Action-Conditioned Video World Model for Robotic Manipulation」は、観測されたフレーム・言語指示・手先の姿勢とグリッパー状態からなる行動系列を入力として、その後どうなるかの映像を予測するモデルを提示している。

3行まとめ

• DreamX-Phiは動画生成モデルWan2.2-TI2V-5Bをベースに、腕ごとのSE(3)変換をPRoPE方式で注意機構に注入し、WorldArena 2.0チャレンジTrack 1（31エントリ中）で1位・Track 2で2位タイを記録した動画世界モデル
• 公式GitHubリポジトリ（AMAP-ML/DreamX-Phi、MITライセンス、63スター）は論文公開と同日の2026年8月13日に作成されたが、README には「モデル重みと推論コードはWorldArena 2.0 IROSチャレンジ終了後に公開予定」と明記されており、確認時点ではコード・重みとも未公開
• 論文自身が「これらの順位はスナップショット時点のものであり、最終的なチャレンジ順位を表すものではない」と明記しており、2026年8月12日時点のリーダーボードに基づく暫定順位である

「映像として自然」と「行動として正しい」は別物

論文が強調しているのは、リアルさ（realism）だけでは忠実さ（faithfulness）を保証しないという点だ。説得力のある映像ロールアウトであっても、実は違う腕を動かしていたり、操作対象の物体を見失っていたりすることがある、という指摘がされている。この問題に対応するため、DreamX-Phiはいくつかの工夫を組み合わせている。

• PRoPE方式の幾何エンコーディング: 腕（アーム）ごとのSE(3)変換（3次元空間内の回転・並進）を注意機構（attention）に注入することで、どの腕がどう動いているかという「腕のアイデンティティ」と剛体運動の構造を保つ
• 深度ブランチ: シーン全体の幾何構造を捉えるための軽量な深度予測分岐を追加
• SAM3マスク＋凍結V-JEPA教師: 把持（grasping）の過程を通して、操作している小さな物体の一貫性を保つ

さらに、複数ステップかけて生成する生成器を、少ないステップで済む「student」モデルへ分布マッチング蒸留（distribution-matching distillation）で蒸留し、実運用での効率を上げている。

WorldArena 2.0チャレンジでの成績

論文の要旨には「執筆時点で、DreamX-PhiはWorldArena 2.0チャレンジのTrack 1で1位、Track 2で2位を獲得した」と明記されている。論文全文（arXiv HTML版）を開くと、コメント欄の「Code: this https URL」の実体はGitHubリポジトリ「AMAP-ML/DreamX-Phi」であることが確認できる。「AMAP」はアリババ傘下の地図サービス「高徳地図（Amap）」の機械学習チームを指す表記で、著者リストの所属は論文中では「DreamX Team」とのみ記載されている。

論文全文の評価章（§5.3・§5.4）に記載された、要旨には出てこない具体的な数字は次の通り。

（出典：DreamX-Phi論文全文 §5.3-5.4、GitHubリポジトリREADME）

論文自身も「これらの順位はスナップショット時点のものであり、最終的なチャレンジ順位を表すものではない（These rankings are snapshot-specific and do not represent the final challenge standings）」と注記しており、確認時点でのランキングが最終結果ではないことを明記している。

シミュレーションで「試し撃ち」してから動かす、という発想

実物のロボットアームを動かして失敗すると、部品が壊れたり、対象物が破損したりするコストが発生する。動画世界モデルの狙いは、実際に動かす前に「こう動かしたらどうなるか」を映像として予測させ、危なそうな行動を事前に弾くことにある。ただし、その予測映像が「もっともらしく見える」だけで実際の物理法則やロボットの構造と食い違っていたら、かえって危険な判断を後押ししてしまう。DreamX-Phiが腕ごとの幾何構造や物体の一貫性にこだわっているのは、この「もっともらしいが間違っている」予測を減らすための工夫だと理解できる。ゲームや映像制作で使われる動画生成AIとは異なり、ロボット向けの世界モデルには「見た目の自然さ」だけでなく「物理的な正確さ」という、より厳しい基準が求められることが、この論文の設計からうかがえる。

モデルは「行動を生成しない」——論文自身が明記する限界

論文6章「Limitations」には、著者自身による限界が3点まとめて書かれている。

Our evaluation is limited to WorldArena and RoboTwin, with Track 2 covering only the Adjust Bottle task, so generalization to other tasks, embodiments, and real robots remains unverified. The leaderboard scores evaluate the full system and therefore do not isolate the contribution of individual components. Finally, DreamX-Phi predicts videos from externally provided actions rather than generating actions itself. Track 2 shows that the model can serve as a rollout environment for training a separate policy, but it does not evaluate DreamX-Phi as a closed-loop controller.

（評価はWorldArenaとRoboTwinに限定されており、Track 2は「Adjust Bottle」という単一タスクのみを対象としているため、他のタスク・ロボットの構造・実機への一般化は未検証である。リーダーボードのスコアはシステム全体を評価するものであり、個々のコンポーネントの寄与は切り分けられていない。最後に、DreamX-Phiは外部から与えられた行動列から映像を予測するものであり、行動そのものを生成するわけではない。Track 2は、この世界モデルが別のポリシーを学習するためのロールアウト環境として機能することを示しているが、DreamX-Phi自体を閉ループの制御器として評価したものではない）

つまりDreamX-Phiは「ロボットがどう動くべきかを決める」モデルではなく、「与えられた行動系列を実行したらどうなるかを映像として予測する」モデル（論文の用語ではForward Dynamics Model、FDM）だ。7章「Future Work」では、この制約への対応として「映像と行動系列を同時に生成するWorld Action Modelへ拡張する計画」が明記されている。現時点のDreamX-Phi 1.0は、あくまで行動列を映像に変換する片方向のモデルであり、それ自体でロボットを操作する完結したシステムではない、という点は要旨や3行まとめだけでは伝わりにくい部分だ。

Track 1とTrack 2で、リーダーボード上の提出名が違う

論文の脚注には、実務上見落としやすい注記がある。「公式のTrack 1・Track 2成果物は、それぞれJF_World・DreamX-Phiという提出IDでリストされている（The official Track 1 and Track 2 artifacts list the corresponding submission identifiers as JF_World and DreamX-Phi, respectively）」という記述で、Track 1の公式リーダーボード上での表示名は論文のモデル名「DreamX-Phi」ではなく「JF_World」だという。公式リーダーボードでTrack 1の順位を直接確認したい場合、「DreamX-Phi」ではなく「JF_World」という名前で探す必要がある。

Track 2の評価方法も、論文はより具体的に説明している。提出された世界モデルを、運営提供の初期化と「π0.5」（Physical Intelligence社が2025年に発表したポリシー）を使ったロールアウト環境として用い、そのポリシーをRoboTwin 2.0の保留（held-out）Adjust Bottleエピソードで評価する、という手順だ。つまりTrack 2の67.19%という成功率は、DreamX-Phi単体の性能というより「DreamX-Phiを使って学習したπ0.5ポリシー」の性能を指しており、DreamX-Phi自体を直接測った数値ではない。

なお論文§5.2は、EWMScore-Pを構成する15個の要素指標について「視覚品質・時間的なダイナミクス・内容の一貫性・物理的な相互作用・3D構造・条件付けの忠実度の6カテゴリにまたがる」と説明している。またWorldArena 1.0の固定リーダーボードでは、DreamX-Phiのオフライン評価値76.88に対し、公式トップはUNIS（73.64）・SisyphusWorld（73.06）・BWM-Fast（72.71）の順で、DreamX-Phiは最上位の公式エントリーを3.24ポイント上回っているという。

モデル重みが未公開のため、生成映像そのものは見ていない

論文全文とGitHubリポジトリまで確認しても、モデル重みと推論コードが「IROSチャレンジ終了後に公開予定」で確認時点では未公開である以上、DreamX-Phiが実際に生成した映像や、腕を取り違えないという主張がどの程度視覚的に確認できるものかは、この記事の範囲では見ていない。EWMScore-Pという指標が15個の要素スコアの平均だという記述はあったが、その15個の要素それぞれの算出方法や、WorldArena 2.0チャレンジ自体の採点基準・運営団体については、論文の記述を超えては確認していない。また「31エントリ中1位」というTrack 1の順位についても、2位以下の他チームの具体的な手法との比較は、本記事の範囲では踏み込めていない。

関連記事

• ワールドモデル（世界モデル）とは──「次の単語」ではなく「世界の次の状態」を予測するAI
• AIロボット 最新動向──Figure/Tesla Optimus/Boston Dynamics【2026年】
• マルチモーダルAIとは？画像・テキスト・音声の統合解説【2026年】