論文紹介：MLLMにおける視覚情報の扱われ方

MLLMは視覚情報を どう扱っているか？ 複数Encoderの統合・視覚表現の活用・クロスモーダルなタスク表現 小林優斗（名工大玉木・丁研） 2026/10/08

本紹介の概要 ◼ 背景 • MLLM (VLM)の視覚理解は Vision Encoder → Projector → LLMの各段階で 視覚情報がどう扱われるかに依存する • 各段階に着目した様々な研究がなされている （Encoderの改良・統合，視覚表現の活用度の分析，LLM内部表現の解析 など） ◼ 紹介する論文 例) LLaVA-1.5 [Liu+, CVPR2024] 1. Mixture of Specialized Vision Experts: Unlocking Complementary Visual Insights for Faithful MLLM Reasoning [Gao+, ECCV2026] • 特性の異なる複数のVision Expertを質問に応じて統合しハルシネーションを抑制 2. Hidden in plain sight: VLMs overlook their visual representations [Fu+, COLM2025] • Encoderが持つ視覚情報をMLLMが活用しきれていないことを分析 3. Vision-Language Models Create Cross-Modal Task Representations [Luo+, ICML2025] • MLLM内部で，モダリティに依存しない共有タスク表現が作られることを発見

• https://eccv.ecva.net/virtual/2026/poster/4465
• https://openreview.net/forum?id=qQb1JLrwol#discussion
• https://vlm-cross-modal-reps.github.io/
• https://openaccess.thecvf.com/content/CVPR2024/html/Liu_Improved_Baselines_with_Visual_Instruction_Tuning_CVPR_2024_paper.html?utm_source=chatgpt.com]

事前知識：MLLMの構造 ◼ 3段構造が典型 • Vision Encoder → Projector → LLM • Projector: Vision特徴量をLLMの入力空間にアラインする層 • 大抵MLPを使うがQ-Former, Cross Attn 等が用いられることも LLaVA [Liu+, NeurIPS2023] BLIP-2 [Li+, ICML2023] LLaVA-1.5 [Liu+, CVPR2024] Qwen-VL [Bai+, arXiv2023]

• https://arxiv.org/abs/2308.12966
• https://icml.cc/virtual/2023/poster/25182
• https://papers.nips.cc/paper_files/paper/2023/hash/6dcf277ea32ce3288914faf369fe6de0-Abstract-Conference.html?utm_source=chatgpt.com
• https://openaccess.thecvf.com/content/CVPR2024/html/Liu_Improved_Baselines_with_Visual_Instruction_Tuning_CVPR_2024_paper.html?utm_source=chatgpt.com]

Mixture of Specialized Vision Experts: Unlocking Complementary Visual Insights for Faithful MLLM Reasoning Yifei Gao, Liangliang You, Jiye Xie, Changwei Wang, Kexue Fu, et al. ECCV2026

概要 ◼ 背景 • MLLMのハルシネーションが問題 • 単一のEncoderでは限界がある • 複数Encoder（Expert）の活用が多いが • 特徴量の統合が粗い • Expertの専門性を引き出せていない ◼ 貢献 • Mixture of Specialized Vision Experts (MoSVE) の提案 1. クエリと”相補性”に基づく統合 2. 専門性を強化する相補的学習戦略

観察：Expertごとに見ている場所が違う ◼ 3種のEncoderのattentionを可視化 • CLIP：全体の意味的な領域 • DINOv2：物体の局所的な特徴 • SAM-L：物体の形状・境界 ◼ 共通の領域と固有の領域がある (パッチレベルでのアテンションスコアの類似度で見たら) → 相補性（complementarity） ◼ 設計方針 • 重複する情報はまとめる • 複数Encoderは冗長そう • 固有の情報は残す・伸ばす • ココに統合のうまみがありそう

提案手法：Query-Guided Complementary Clustering ◼ 複数Encoderの特徴量（トークン）をどうやって統合するか

提案手法：Query-Guided Complementary Clustering ◼ パッチ i ごとでExpert特徴をcos距離を基に統合 • 共通する情報はまとめ，固有の情報は残したい • cos距離が閾値 τᵢ 未満のトークンは平均して1つに統合 類似度じゃなくて距離． ( = 1 – cos類似度) ◼ クエリによって適応的に閾値を変動 • 質問に関わるパッチほど統合せずに残すべき 𝜏𝑖 = 1 − 𝜎 𝛼 𝑠𝑖ҧ + 𝛽𝑒𝑖 𝑠𝑖ҧ ：テキストトークンとの平均類似度 𝑒𝑖 ：類似度のエントロピー

提案手法：Complementary Rejection Fine-Tuning ◼ 学習によるExpertの専門化 1. CLIPベースのMLLMが推論時に間違えたサンプルを収集 2. 各サンプルを，CLIPと最も特徴が異なるExpertに割り当て 3. 割り当てられたサンプルだけで各Projectorを学習する CLIPが苦手な問題を CLIPと一番違う見方をする Expertに任せて専門家に育てる

実験結果 ◼ 評価：幻覚系ベンチマーク • POPE：物体の有無をYes/Noで回答（↑） • CHAIRₛ：幻覚物体を含むキャプションの割合（↓） • MMVP：CLIPが区別できない画像ペア（↑）

まとめ MoSVE ◼ Encoderには得意・不得意があり，見ている場所も違う ◼ 手法 • 複数Encoderを使うときの組合せ方を工夫した • 似た情報はまとめてしまう，違う情報は残す • 残す基準はクエリによる • 専門性の育て方工夫した • 学習データをCLIPがうまくいっていないデータに絞る ◼ CLIPが苦手な問題を他のExpertに任せると，幻覚が減った 次論文：Encoderが作った視覚表現は， LLMの中でどう使われているのか

Hidden in plain sight: VLMs overlook their visual representations Stephanie Fu, Tyler Bonnen, Devin Guillory, Trevor Darrell COLM2025

• https://openreview.net/forum?id=qQb1JLrwol#discussion

概要 ◼ 背景 • VLMは「視覚中心タスク」が苦手 • 画像だけ見れば解けるタスク • 深度推定・対応点探索など • Encoderの特徴量をそのまま使えば 解けるのに？ → 視覚情報はどこで失われる？ ◼ 貢献 1. 視覚中心タスクでEncoder単体とVLMの評価を比較 2. 性能低下の原因を3観点で切り分け • ボトルネックはLLMによる活用だと示した 見えていないわけではなく，「使えていない」

評価設定：Encoder単体 vs VLM ◼ 視覚中心タスク6種で比較 • 言語的な知識なしで解けるはずのタスク • Visual評価法（Encoder出力を直接使用）VS VLM評価法（VLMで答えさせる） Visual評価法 VLM評価法 タスク 内容 意味的対応点マッチ 別物体間で意味的に同じ部位を選 パッチ特徴のコサイン類似度 ぶ 4択VQA 低レベル対応点マッチ 同一シーン（照明・視点違い）で パッチ特徴のコサイン類似度 同じ点を選ぶ 4択VQA 物体アフォーダンス マッチ 同じ機能を持つ部位を選ぶ パッチ特徴のコサイン類似度 4択VQA 奥行き推定 2物体のどちらがカメラに近いか DPTヘッドで深度推定し、box内平均 を比較 2択VQA 画風対応マッチ 参照と同じ画風の画像を選ぶ Gram行列（スタイル特徴）のMSE 2択VQA 3D物体マッチ 多視点画像から別物体を1つ選ぶ CLS埋め込みの類似度が最小の画像 3or4択VQA

評価設定：Encoder単体 vs VLM ◼ 例）低レベル対応点マッチ • 同じシーンを照明や視点を変えて撮った2枚の画像で対応する点を探す 参照点 選択肢

実験結果：VLMにすると精度が急落 ◼ VLMで解くと全タスクで精度が低下 • ほとんどチャンスレベル付近まで • 複数のEncoderで同様 ◼ Encoder間の順位も入れ替わる • 例）DINOv2 • Visual：6タスク中5つで最良 • VLM：どのタスクでも最良にならない

分析：VLMの失敗はどこが原因？ ◼ 3つの観点に切り分けて分析 1. LLM内で視覚表現が劣化？ → No LLMの各層でも視覚情報は読み出せる 2. プロンプトの聞き方が問題？ → No 学習可能なprompt埋め込みを 追加してもVisual性能を超えられない 3. LLMの活用能力？ → Yes Encoder・Projector・LLMの内， LLMの追加学習が最も精度向上

まとめ Hidden in plain sight ◼ VLMは視覚中心タスクが苦手（チャンスレベル近く） • 自分の視覚エンコーダを直接読み出せば解けるのに • エンコーダの順位も入れ替わる ◼ 原因はLLMが視覚情報を使っていないこと • 視覚情報の劣化やプロンプトの問題ではない • 言語的なバイアスで答えている MLLMの成績だけでそのEncoderの良し悪しを判断するのは要注意 次論文：LLMの内部では，画像とテキストの 情報はどんな表現になっているのか

Vision-Language Models Create Cross-Modal Task Representations Grace Luo, Trevor Darrell, Amir Bar ICML2025

• https://vlm-cross-modal-reps.github.io/

事前知識：タスクベクトル ◼ In-Context Learning • 少数の例示からタスクを理解し答えさせる 例）Q.「Apple : Red，Lime : Green，Corn :」 A.「Yellow」 ◼ タスクベクトル [Hendel+, EMNLP2023][Todd+, ICLR2024] • 最後の区切りトークン位置での中間層の表現 • 例示から読み取ったタスクの要約を持つ ◼ “Patching”で確かめる • 例示有りのタスクベクトルを，例示無しクエリで 同じ層・位置に上書き • 例示無しでもそのタスクを実行できた！ [Hendel+, EMNLP2023]

• https://arxiv.org/abs/2310.15916
• https://functions.baulab.info/

概要 ◼ 背景 • LLMでは例示がタスクベクトルになる • VLMは同一タスクの指定方法は色々ある • テキスト例示／画像例示／指示文 →VLM内部では同じタスク表現になる？ ◼ 貢献（VLMタスクベクトル分析） • タスクベクトルはモダリティや形式にかかわら ずまとまる（右図b） • 「テキスト例示→画像でクエリ」もpatchで 解ける • LLMからのタスクベクトル転移，指示文からの タスクベクトル生成も可能

分析設定 ◼ タスクとその指定形式 • 表の6タスク（国→首都など） • 3通りの指定形式 • テキスト指示 / テキスト例示 / 画像例示 • クエリは {<画像> : } ◼ 評価 • 最初のトークンの完全一致

分析方法 ◼ Cross-modal patching • テキスト例示によるタスクベクトルを 画像クエリ時にpatching • 「別モダリティのタスクベクトルも機能す るのか」を確かめよう ◼ 例示の与え方パターン • Text Ex. Prompting • Text Ex. Patching • Image Ex. Prompting • Image Ex. Patching クロスモーダル ユニモーダル

分析結果：クロスモーダル転移 ◼ テキスト例示によるタスクは画像クエリでも転移された • ただし単純なICLであるPromptingでは効果なし 誤 正 誤 正 例）クロスモーダル例示の結果

分析結果：LLMからVLMへの転移 ◼ LLMで作ったタスクベクトルはVLMでもクロスモーダルで機能する • 同じ例示をVLMの元になるLLMに入力 • LLaVAならVicuna（右図） • タスクベクトルは類似度0.95 • Text Ex. Patchingで評価 • VLM内と同等以上 例) LLaVA-1.5 [Liu+, CVPR2024] タスクベクトル Patcing

• https://openaccess.thecvf.com/content/CVPR2024/html/Liu_Improved_Baselines_with_Visual_Instruction_Tuning_CVPR_2024_paper.html?utm_source=chatgpt.com]

分析設定（再掲） ◼ タスクとその指定形式 ◼ 評価 • 表の6タスク（国→首都など） • 最初のトークンの完全一致 モダリティではなくICL自体の形式を • 3通りの指定形式 • テキスト指示 / テキスト例示 / 画像例示 • クエリは {<画像> : } 変えたら？

分析：指示文からのタスクベクトル ◼ 指示文1つで作ったタスクベクトル機能する • 例示5つ分に相当する性能 • 例示と組み合わせることで性能向上

分析：層ごとの表現の変化 ◼ 各層の最終トークン表現をテキストにデコードしてみる • 「：」か「タスク内容」か「正解」のどの単語にデコードされやすいか • 層毎の相対確率の推移 • 前半の層：入力時の「：」になりやすい • 中盤の層：タスクを表す単語になりやすい タスク名 タスク内容の単語 • 終盤の層：正解単語になりやすい Country-Capital capital Country-Currency currency Animal-Latin species Animal-Young baby Food-Color color Food-Flavor flavor

まとめ Cross-Modal Task Rep. ◼ VLMは「何をするか」を画像でもテキストでも似た形で持つ • クエリが画像でもテキストでも同じタスクベクトルを適用できる ◼ 例示を並べるだけでは，画像にうまく適用されない • 内部の表現を直接差し込めば（Patching）タスクを画像に使える

本紹介のまとめ ◼ 背景 • MLLM (VLM)の視覚理解は Vision Encoder → Projector → LLMの各段階で 視覚情報がどう扱われるかに依存する • 各段階に着目した様々な研究がなされている （Encoderの改良・統合，視覚表現の活用度の分析，LLM内部表現の解析 など） ◼ 紹介する論文 例) LLaVA-1.5 [Liu+, CVPR2024] 1. Mixture of Specialized Vision Experts: Unlocking Complementary Visual Insights for Faithful MLLM Reasoning [Gao+, ECCV2026] • 特性の異なる複数のVision Expertを質問に応じて統合しハルシネーションを抑制 2. Hidden in plain sight: VLMs overlook their visual representations [Fu+, COLM2025] • Encoderが持つ視覚情報をMLLMが活用しきれていないことを分析 3. Vision-Language Models Create Cross-Modal Task Representations [Luo+, ICML2025] • MLLM内部で，モダリティに依存しない共有タスク表現が作られることを発見

• https://eccv.ecva.net/virtual/2026/poster/4465
• https://openreview.net/forum?id=qQb1JLrwol#discussion
• https://vlm-cross-modal-reps.github.io/
• https://openaccess.thecvf.com/content/CVPR2024/html/Liu_Improved_Baselines_with_Visual_Instruction_Tuning_CVPR_2024_paper.html?utm_source=chatgpt.com]