「Embodied-Navigator（TAMP-Nav）」とは何か──ロボットの行き先指示を「座標」でなく「画面上の点」で与える発想

大規模視覚言語モデル（VLM）は具現化ナビゲーション（embodied navigation、ロボットなどが実空間を移動しながら目的を達成するタスク）を大きく前進させてきたが、実際の展開はなお難しい。既存手法の多くはVLMに、その2D事前学習で得た直感とかみ合わない不自然な行動空間を強いており、そこに硬直した推論スケジュールと非効率なメモリ管理が重なってしまう。2026年8月18日にarXivで公開された論文「Embodied-Navigator: Point, Think, Memorize, and Align for Efficient Navigation」は、こうした課題に対応する統一フレームワーク「TAMP-Nav」を提案している。著者12名（筆頭著者Hongyan Feng氏ほか、Sunlai Chen・Xuanyu Liu・Miao Pan・Yangfan Xie・Yuxiang Cui・Zhongxiang Zhou・Rong Xiong・Wenqi Zhang・Jianwei Yin・Yueting Zhuang・Xuhong Zhangの各氏）の所属はZhejiang University（浙江大学）ソフトウェア技術学院と、Zhejiang Humanoid Robot Innovation Center Co., Ltd.（浙江人型ロボットイノベーションセンター）。論文はv1が2026年8月18日、内容を差し替えたv2が同年8月27日にarXivへ提出されている（提出履歴ページで確認）。

3行まとめ

• TAMP-Navは、VLMに3D座標を直接出力させる代わりに画面上の2Dピクセルを選ばせ、SLAM制御器が3D変換を担う設計のナビゲーション手法。R2R-CEで66.2%・RxR-CEで65.7%のSuccess Rateを、学習軌跡9万件で達成
• 論文全文のTable 4によれば、移動距離12.5m超（50アクション以上）の長距離ナビゲーションでも、TAMP-Nav（AT-Mem構成）は成功率49.8%を記録し、比較対象のStreamVLN（30.9%）・DualVLN（41.9%）を大きく上回っている
• 公式コードリポジトリ「ZJU-OmniAI/Embodied-Omni」は、この論文単体ではなく関連研究「Embodied-Reasoner」も含む同グループの統合リポジトリで、2026年8月31日確認時点で231スター
• シミュレーションだけでなく、四足歩行ロボットUnitree Go2による実機評価（300試行、追加のファインチューニングなしのゼロショット転移）も論文本文に収録されており、TAMP-Navは成功率60.0%でStreamVLN（49.0%）・DualVLN（53.0%）を上回っている

「3D座標を出させる」のではなく「画面上の点を選ばせる」

TAMP-Navの核となるのが「Pixel-to-3D Action Formulation（Point）」だ。ナビゲーションを2Dの視覚的プロンプティングとして再定式化し、VLMには2Dピクセルを選ばせるだけにとどめる。そのピクセルは、低レベルのSLAM（自己位置推定と地図作成を同時に行う技術）制御器によって3D座標に変換される。この設計により、具現化された実行を、VLMがもともと得意な2Dの視覚的能力と自然に整合させられる、としている。

もう1つの要素が「Think and Memorize」だ。統合された選択的推論とアンカー・トラジェクトリ・メモリの仕組みにより、Chain-of-Thought（思考の連鎖）を動的に発動させつつ、高精度なメモリは重要なノードでのみ保持する。冗長な軌跡は軽量な「時空間インジケーター（Space-Time Indicators）」に圧縮され、重要な履歴情報を保ちながら時空間の認識を高める。最後の「Align」は、Group Relative Policy Optimization（GRPO）による効率的な2レベルのアライメント手法だ。グローバルな結果報酬と、きめ細かいプロセス報酬を重ね合わせることで、エージェントの認知的な計画を物理的な環境フィードバックに密に整合させ、適応的な推論能力を持たせるという。

R2R-CEでの成績

論文は、TAMP-Navが最先端の性能（R2R-CEというシミュレーション環境で66.2%のSR＝成功率）を、高いランタイム効率とサンプル効率のもとで達成したとしている。学習に使った軌跡はわずか9万件（90k）だったという。

この9万件の学習データには「MultiNav-CoT」という名前が付いている。VLN-CE（Krantz et al., 2020）から派生させたデータセットで、レンダリング上の異常（黒画像など）や、Gemini（Google）によって品質が低いと判定された指示文を除外するフィルタリングを行っている。単なる軌跡データではなく、「いつ深く考えるべきか」を教えるための選択的なChain-of-Thoughtアノテーションを付与しているのが特徴で、論文はこの構築過程を「Spatiotemporal Key Node Mining（時空間的な重要ノードの抽出）」と呼んでいる。学習の初期段階（コールドスタート）には、Qwen2.5-VL-7Bをベースモデルとして使っている。

論文全文には、要旨に出てこないベンチマーク環境ごとの内訳と、長距離ナビゲーションに絞った比較が記載されている。

（出典：論文全文 Table 1「Performance on VLN-CE Benchmarks」、Table 4）

R2R-CE・RxR-CEという2つの標準ベンチマーク双方で最高性能（SOTA）を記録したとする一方、移動距離が長くなる条件（12.5m超）に絞ると全体の成功率自体は50%を切る。長距離になるほどナビゲーションが難しくなるのはこの分野に共通する傾向で、TAMP-Navもその制約から自由ではないことが、この内訳から見える。

「座標を計算させる」より「画面を指させる」方が得意、という発想の転換

VLMに「3メートル先、右に30度」のような3D座標を直接出力させようとすると、モデルが学習時にほとんど触れてこなかった種類の出力を求めることになり、精度が落ちやすい。一方、VLMは「この画像のどこに注目すべきか」を指し示すこと自体は、画像を使った学習を大量に積んできているぶん得意な作業だ。TAMP-Navの「Point」の発想は、モデルに苦手な変換（言葉や意図を3D座標へ）を担わせるのではなく、得意な作業（画面上の位置を選ぶこと）だけを任せ、座標への変換は専用のSLAM技術に任せる、という役割分担だ。この「モデルの得意な入出力形式に合わせてタスクを作り直す」という考え方は、ロボット制御に限らず、AIに何かをさせようとする場面全般で応用が利く発想だと言える。

四足歩行ロボットUnitree Go2での実機評価

論文全文には、シミュレーションだけでなく実機ロボットでの評価結果（本文4.6節・付録D）が記載されている。使用したのはUnitree Go2という四足歩行ロボットで、100°の視野角を持つRGB-Dカメラ4台を円周状に配置して360°をカバーし、Hesai XT16というLiDARを機体下部に搭載している。sim-to-realのギャップを埋めるため、システムは「高レベル」と「低レベル」に分離されている。高レベルの認識・意思決定（カメラ映像から次に進むべき2Dピクセル座標を選ぶ処理）はリモートサーバー上でTAMP-Navが担い、低レベルの実行は選んだピクセルを3D座標へ投影したうえで、自己位置推定にFastLIO、局所的な経路計画と動的な障害物回避にFAR Plannerという既存のSLAM手法を組み合わせている。

評価は「会議室・実験室・ホール・複数エリアをまたぐ移動・屋外」の5カテゴリで、各カテゴリに4つの自然言語指示を用意し、それぞれ5回ずつ試行する構成（1手法あたり100試行、3手法で合計300試行）。参照ルートの距離は8.88mから44.74m（平均24.55m）に及ぶ。判定基準は、安全担当者の介入や緊急停止なしに、ロボットが目標地点から1.5m以内で自律的に停止できたかどうか。

（出典：論文全文 4.6節「Real-World Deployment」、Figure 8b）

公式GitHubリポジトリのREADMEには、この実機評価100試行のうち代表的な6本の動画（会議室・ホール・屋内外をまたぐ移動・屋外・実験室のケースに加え、失敗例1本）へのリンクが掲載されている。失敗例として挙げられているのは「屋外（失敗ケース）：目標がすべてのカメラ視野から外れ、方策が途中で停止してしまう」というケースで、成功例だけでなく限界も自ら開示している点は確認できた。

深度センサーのノイズへの耐性と、論文が自ら挙げる限界

論文には、深度センサーの誤差に対する頑健性を調べた実験もある。選択したピクセルの深度値に乗法的なガウスノイズを注入し、ノイズ強度σを0・0.05・0.1・0.2と変えて成功率を比較したところ、σ=0（ノイズなし）の66.2%に対し、σ=0.2（相対誤差16%相当）でも63.4%と、低下幅は2.8ポイントにとどまったと報告されている。

一方で「Limitations」の節では、論文自身が次の限界を挙げている。GRPOの学習はシミュレータが提供する特権的な信号（進捗・成功・SPL・衝突など）に依存しており、現状のシステムは実機ロボット上でのオンライン強化学習には対応していない。そのため実機での展開は、シミュレーションで学習した固定方策をそのまま転移させるゼロショット転移に限られる。また、時空間インジケーター（STI）は平面上の位置(x, y)と向きは符号化するが高さは含まないため、複数階建ての建物でフロアを明示的に区別することはできないとしている。

論文のタイトルは「Embodied-Navigator」だが、要旨の中で提案手法自体には「TAMP-Nav」という別名が使われており、この記事ではその両方を併記した。どちらが今後の呼称として定着するかは、この記事の範囲では判断できない。公式リポジトリ名も「Embodied-Omni」で、論文タイトル・手法名のどちらとも異なる第3の名称になっている。学習済みモデルはHugging Faceで「UnderTides/Embodied-Navigator-7B-GRPO」として公開されており（2026年8月31日確認時点でダウンロード数72・いいね2）、Qwen2.5-VL-7Bをベースにしていることがモデルカードのタグから確認できる。

関連記事

• AIロボット 最新動向──Figure/Tesla Optimus/Boston Dynamics【2026年】
• マルチモーダルAIとは？画像・テキスト・音声の統合解説【2026年】
• ワールドモデル（世界モデル）とは──「次の単語」ではなく「世界の次の状態」を予測するAI