画像を見ているようで見ていない──マルチモーダルLLMの好み学習に潜む『Visual Insensitivity』

人間の好みに合わせてAIの応答を調整する「DPO(Direct Preference Optimization、直接選好最適化)」は、テキスト生成のアライメント手法として広く使われている。2つの応答のうちどちらが好ましいかというペアの比較データから、モデルがより好ましい方を出力しやすくなるよう調整する仕組みで、強化学習を介さずに済む手軽さから急速に普及した。しかし、これを画像・テキストを扱うマルチモーダルLLM(MLLM)に適用したとき、見落とされてきた限界があると指摘する論文が、2026年8月20日にarXivで公開された。

画像の「重要な部分」が消えても気づかない

論文はまず、DPOのマルチモーダル拡張が十分に検討されてこなかったことを指摘したうえで、表現分析(representational analysis)を通じて特定した限界を説明する。

"we identify a key limitation in multimodal preference optimization, which we term visual insensitivity: models often fail to distinguish between images and those with critical visual context removed."

マルチモーダルな選好最適化における主要な限界として、モデルはしばしば、通常の画像と、重要な視覚的文脈を除去した画像とを区別できない。この現象を著者らは「visual insensitivity(視覚的鈍感さ)」と名付けた。

さらに理論分析から、この問題が2つの形で現れることが分かったという。

"Our theoretical analysis further uncovers two manifestations of this problem, namely Across-Image Insensitivity and Within-Image Insensitivity."

複数の画像をまたいだ鈍感さ(Across-Image Insensitivity)と、1枚の画像内での鈍感さ(Within-Image Insensitivity)の2種類だ。前者は、異なる画像同士を比較したときに視覚的な違いに反応しにくいこと、後者は、1枚の画像の中の重要な部分が変化しても反応しにくいことを指していると考えられる。

対策PEA-DPO:視覚的な選好信号を明示的に活用する

対策として提案されたのが「PEA-DPO(Perception-Enhanced Alignment DPO)」だ。視覚的な選好信号を明示的に活用することで、この視覚的鈍感さを乗り越えようとする枠組みで、理論的にも両方の失敗モードを緩和することが証明可能だとしている。

"Evaluations across three hallucination benchmarks using MLLMs of varying scales show that PEA-DPO effectively mitigates visual insensitivity, achieves stronger multimodal alignment, and substantially reduces hallucinations."

規模の異なる複数のMLLMを対象に、3つのハルシネーション(幻覚)ベンチマークで評価した結果、PEA-DPOは視覚的鈍感さを効果的に緩和し、より強いマルチモーダルアライメントを達成し、ハルシネーションを大幅に削減することが示された。加えて、ベースモデルの言語モデリング能力を維持したまま、視覚的文脈への感度を高められることも確認されている。

論文は、この効果を単に実験的に示すだけでなく、PEA-DPOがAcross-Image InsensitivityとWithin-Image Insensitivityの両方の失敗モードを緩和することを理論的にも証明可能だと主張している点が特徴的だ。多くのアライメント手法が「経験的にうまくいった」という報告にとどまる中で、なぜうまくいくのかを理論面からも裏付けようとする姿勢は、この分野の研究としては珍しい部類に入る。

画像を扱うAIツールを選ぶときの着眼点

画像を扱うAIツール(画像診断支援、監視映像の解析、製品検品など)を選定・評価する際、この論文は「モデルが視覚的な違いをどこまで敏感に捉えているか」という観点が、単純な精度指標だけでは見えにくいことを示している。特に、画像の一部が改変・除去されていても気づかないという特性は、意図的な画像加工や誤情報混入への耐性という文脈でもリスクになりうる。ハルシネーションの原因と対策全般についてはLLMのハルシネーション(幻覚)とはを、画像認識の基礎についてはAI画像認識・物体検出 入門を参照してほしい。

3つのハルシネーションベンチマークの名前までは確認していない

本記事は、当サイトが論文の要旨を読んで書いている。評価に使われた3つのハルシネーションベンチマークの具体的な名称、評価対象としたMLLMの具体的なモデル名・パラメータ規模、Across-Image InsensitivityとWithin-Image Insensitivityそれぞれの個別の改善幅は、要旨には記載がなく、本文PDFを読み込んでいないため確認できていない。「理論的に両方の失敗モードを緩和することが証明可能」という記述の数学的な証明過程についても、本記事では踏み込んでいない。Zenn記事検索(2026年8月27日実施)では「Visual Insensitivity」に該当する日本語記事は見つからなかった。