「MOSS-VL」とは何か──「見ながら喋る」を前提に設計し直したオープンな視覚言語モデル
「MOSS-VL」は、話しながら映像を知覚し続けることを第一級の能力として設計されたオープンな視覚言語モデルファミリー。4つのストリーミングベンチマークのうち3つで同規模のオープンソースモデル中トップとなり、能動的な発話が必要なOmniMMI Proactive Alertingでは最有力ベースラインの37.5に対し66.0を記録、5つのチェックポイントと学習コードが公開されている。
目次
映像を見ながらリアルタイムに会話するAIを作ろうとすると、「話している最中にも新しいフレームを知覚し続ける」という要求が、通常の視覚言語モデル（VLM）の設計とはかみ合わないことが多い。2026年8月15日にarXivで公開された「MOSS-VL Technical Report」は、この「話しながら知覚する（perceiving while it speaks）」ことを第一級の能力として、スタック全体を共同設計したオープンな視覚言語モデルファミリーを提示している。
論文PDF本文の1ページ目には、著者を代表する記載として「OpenMOSS Team」、連絡先としてpywang24@m.fudan.edu.cn・xpqiu@fudan.edu.cnという復旦大学（Fudan University）のメールドメインが明記されている。GitHubリポジトリもgithub.com/OpenMOSS/MOSS-VLとして実在し、本記事執筆時点でGitHub API確認によりスター483・フォーク17。リポジトリ自体の作成日は2026年4月8日で、論文公開（8月15日）より4カ月早い。本文にも「MOSS-VLは、リアルタイムパラダイムを探った前身モデルMOSS-Video-Previewの系譜を継ぐもの」と明記されており、リポジトリの作成日の早さと整合する。
3行まとめ
- MOSS-VLは復旦大学のOpenMOSS Teamが開発した、視覚+テキストのオープンな視覚言語モデル（音声入力はなし）。GitHub実測でスター483・フォーク17
- 4つのストリーミングベンチマークのうち3つで最高平均を記録。能動的発話を試す3部分集合すべてで他モデルを上回り、OmniMMI Proactive Alertingは66.0対37.5（最有力ベースラインAURA）
- Hugging Faceには量子化版を含め9個のチェックポイントが公開されており（論文が言う「5チェックポイント」はベース/Instruct/Realtimeの中核5種、残り4種はFP8/NF4量子化版）、ライセンスはApache 2.0
スタック全体を「リアルタイム」前提で設計する
論文によれば、言語デコーダはゲート付きクロスアテンションのみを通じて視覚情報に注意を向ける設計になっており、生成中も新しいフレームを自然に見続けられるという。合成されたインタラクションコーパスが「いつ話すか」「いつ黙るか」「いつ言い直すか」を教師データとして与える。さらに段階的なカリキュラムを採用し、強力なオフラインの基盤モデルの上に、リアルタイム特有の学習をすべて軽量な最終段階に集中させている。
オフライン評価では、MOSS-VL-Instructが同規模のモデルと比較して競争力を持ち、時間的推論（temporal-reasoning）を問う映像セットではトップだったとしている。4つのストリーミングベンチマークでは、MOSS-VL-Realtimeがオープンソースのストリーミングモデルの中で3つで最高平均、残り1つで2位を記録した。特に、能動的な振る舞いを厳密に試す3つのサブセットではすべて他を圧倒し、OmniMMI Proactive Alertingでは最有力ベースラインの37.5に対しMOSS-VL-Realtimeが66.0を記録したという。
「見ながら話す」を5段階に整理する——L1〜L5
論文のTable 1は、映像理解の能力を5段階に整理している。この記事ではその内容を日本語で再構成する。
| レベル | 区分 | 特徴 |
|---|---|---|
| L1 | オフライン | 動画を最後まで見てから質問に答える（複数ターンの対話は可） |
| L2 | ストリーミング | 映像が継続的に届き、いつでも質問に即答できるが、応答中は新しい情報を見られない（盲目状態） |
| L3 | ストリーミング | L2に「沈黙」を追加。まだ答えられない場合は、決め手となる証拠が現れるまで黙る |
| L4 | ストリーミング | L3に「継続的な質問」を追加。1つの質問を保持したまま、場面の変化に応じて再回答する（個々の応答中はやはり盲目） |
| L5 | リアルタイム | L4に「生成中の知覚」を追加。話している最中も見続け、証拠が変わればその場で言い直したり打ち切ったりできる |
論文は、MOSS-VL-RealtimeがL5の挙動をライブデモと公開された推論コードで定性的に実証し、L2〜L4は4つの公開ストリーミングベンチマークで定量評価したとしている。一方で「L5の挙動そのものを測る専用ベンチマークは、いまだ未解決の課題として残っている」とも明記しており、論文自身が「L5を数値で検証しきれていない」ことを認めている。
ストリーミング・オフライン双方のベンチマークで確認できた具体的な数字
論文のTable 5・Figure 1（b）から、MOSS-VLと比較対象モデルの具体的なスコアを抜き出すと次のようになる（いずれも0〜100点のベンチマークスコア）。
| 指標 | MOSS-VL | 最有力の比較対象 |
|---|---|---|
| PA（能動的アラート、OmniMMI） | 66.0 | 37.5（AURA） |
| PO（能動的出力、StreamingBench） | 60.0 | 53.2（AURA） |
| FAR（前向き能動応答、OVO-Bench） | 62.1 | 55.8（AURA） |
| BLINK（知覚） | 78.0 | 69.1（Qwen3-VL-8B） |
| V*（知覚） | 89.0 | 85.9（LLaVA-OneVision-2-8B） |
| EgoSchema（一人称視点理解） | 67.0 | 65.0（Qwen2.5-VL-7B） |
| Minerva（時間推論） | 40.5 | 32.3（Gemma-4-12B-IT） |
比較対象の常連は「AURA」というオープンソースのストリーミングモデルで、能動的な発話を試す3指標（PA・PO・FAR）すべてでMOSS-VLの最大の競合として登場する。ストリーミング系の比較対象には他にJoyAI-VL-Interaction、VideoChat3-4B、ViSpeak-7B、M4、MMDuetファミリー（MMDuet2-RL・MMDuet+rm・MMDuet）といったオープンソースモデルの名前も本文に挙がっていた。
なお、MOSS-VL-Realtimeの言語バックボーン自体は8.2Bパラメータで、7〜8Bクラスの比較対象と同程度だと論文は説明している。冒頭で触れた「11.3B」という総パラメータ数との差分（約3B）は、視覚エンコーダとクロスアテンションスタックの分だ。
また論文は明確に「MOSS-VLは音声入力を受け付けない（takes no audio input）」と記しており、StreamingBenchの音声依存グループ（Omni-Source）は評価対象外としている。つまりMOSS-VLは映像とテキストのリアルタイム処理に特化したモデルであり、記事本文で比較したOpenAIの「GPT-Live」のような音声会話モデルとは、対応するモダリティの範囲がそもそも異なる。
パラメータ11.3Bで、応答の速さもQwen3-VL-8Bの5.1倍に
MOSS-VLはパラメータ数11.3Bだが、視覚トークンをデコード対象のシーケンスの外側に置く設計になっており、視覚的なコンテキストが増えるほど、同じバックボーンを使うQwen3-VL-8Bに対する「最初のトークンが出るまでの時間（time-to-first-token）」の優位性が2.8倍から5.1倍まで広がるという。論文は5つのチェックポイント、学習カリキュラム、リアルタイム推論コードをすべて公開したとしている。
「見ながら話す」がなぜ難しいのか
通常のVLMは、映像や画像を「一度に読み込んで理解してから」文章を生成する設計が多い。人間で例えるなら、動画をすべて見終えてから感想を話し始めるようなものだ。これに対して「話しながら見続ける」設計は、話している途中にも新しい情報が入ってくることを前提にする必要がある。論文が説明する「ゲート付きクロスアテンション」は、言語を生成する部分（デコーダ）が、必要なタイミングだけ視覚情報を参照できるようにする仕組みで、常に全部の視覚情報を処理し続けるより効率的だという発想だと読める。「いつ話すか・いつ黙るか・いつ言い直すか」を学習データとして与えているという記述からは、単に応答が速いだけでなく、「今はまだ話すタイミングではない」と判断する能力そのものを学習させようとしていることがうかがえる。OpenAIが2026年に発表した全二重音声モデル「GPT-Live」なども、聞きながら話すという同種の課題に取り組んでいるが、MOSS-VLは音声だけでなく映像の知覚も含めて同時に扱う点で射程が広い。
チェックポイントを実際に動かしての検証はしていない
この記事は論文PDF本文・GitHub API・Hugging Face APIから取得した一次情報をもとに書いている。66.0対37.5、2.8倍から5.1倍といった数字は論文が報告した評価結果であり、手元でHugging Faceに公開されたチェックポイントを実際にダウンロードして動かし、映像を見ながらリアルタイムに応答する様子を確認したわけではない。「話すべきタイミングを正しく判断できているか」という定性的な体験の質については、ベンチマークのスコアだけでは判断しづらい部分であり、この記事の範囲では検証していない。論文自身も「L5（生成中の知覚）の挙動そのものを測る専用ベンチマークは未解決の課題」と認めており、公開されている数値評価はL2〜L4（ストリーミング領域）が中心で、最も特徴的なL5能力はライブデモという定性的な形でしか示されていない。オフラインベンチマーク（Table 5）の一部指標——MMMU・DocVQA・RefCOCO-RECなど——ではMOSS-VLが比較対象より低いスコアの行もあり、全指標で勝っているわけではないことも本文の数字から確認できた。
関連記事
出典・参照資料
AIニュースの解説を動画でも
YouTubeでは注目ニュースの背景を解説し、Xでは新着記事をお知らせしています。
コメント
まだコメントはありません。最初のコメントを書いてみませんか？
AIについて聞きたいことはありますか？
質問箱で無料で受け付けています。回答は公開され、他の方の参考にもなります。
質問箱を見る →新しい記事をメールで受け取る
AIの新しい発表を、出典付きで整理して届けます。
関連記事
全DRAMを殴れるパターンを見つけた研究「Blacksmith」──GPU向けRowhammer攻撃の源流をたどる
「RekaDaily-10k」とは何か──有償の一人称視点動画7,834時間、70TBがApache 2.0で公開中
検査資格の番号だけ隠して有効性だけ見せる──JWTの『選択的開示』をCBORに持ち込むSD-CWTを読む
「空間知能」とは何か──Fei-Fei Liが掲げるAIの次のフロンティア
DDR5はRowhammerに本当に強いのか──ETH Zurichの故障注入基盤「REFault」が出した答え
「VoiceMem」とは何か──音声対話AIに「左脳」と「右脳」を分けて持たせる記憶アーキテクチャ
150Mパラメータでタスク1件0.07銭──Pathwayの再帰アーキテクチャBDH-CQが「未学習のARC-AGI-1」を自作して測った理由
