---
title: 論文紹介：MLLMにおける視覚情報の扱われ方
tags: 
author: [Toru Tamaki](https://www.docswell.com/user/tttamaki)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/4EQD1LP2JP.jpg?width=480
description: Yifei Gao, Liangliang You, Jiye Xie, changwei wang, Kexue Fu, Jingyi Liu, Rongtao Xu, Zhiqiang Kou, Haoran Xu, Longxiang Gao, Yu Zhangn, "Mixture of Specialized Vision Experts: Unlocking Complementary Visual Insights for Faithful MLLM Reasoning", ECCV 2026 https://eccv.ecva.net/virtual/2026/poster/4465  Stephanie Fu, tyler bonnen, Devin Guillory, Trevor Darrell, "Hidden in plain sight: VLMs overlook their visual representations", COLM 2025 https://openreview.net/forum?id=qQb1JLrwol#discussion  Grace Luo, Trevor Darrell, Amir Bar, "Vision-Language Models Create Cross-Modal Task Representations", ICML 2025 https://vlm-cross-modal-reps.github.io/
published: October 30, 26
canonical: https://www.docswell.com/s/tttamaki/K9NQNL-2026-10-30-233706
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/4EQD1LP2JP.jpg)

MLLMは視覚情報を
どう扱っているか？
複数Encoderの統合・視覚表現の活用・クロスモーダルなタスク表現
小林優斗（名工大玉木・丁研）
2026/10/08


# Page. 2

![Page Image](https://bcdn.docswell.com/page/KJ4ZRDYP71.jpg)

本紹介の概要
◼ 背景
• MLLM (VLM)の視覚理解は Vision Encoder → Projector → LLMの各段階で
視覚情報がどう扱われるかに依存する
• 各段階に着目した様々な研究がなされている
（Encoderの改良・統合，視覚表現の活用度の分析，LLM内部表現の解析 など）
◼ 紹介する論文
例) LLaVA-1.5 [Liu+, CVPR2024]
1. Mixture of Specialized Vision Experts: Unlocking Complementary Visual Insights for Faithful
MLLM Reasoning [Gao+, ECCV2026]
• 特性の異なる複数のVision Expertを質問に応じて統合しハルシネーションを抑制
2. Hidden in plain sight: VLMs overlook their visual representations [Fu+, COLM2025]
• Encoderが持つ視覚情報をMLLMが活用しきれていないことを分析
3. Vision-Language Models Create Cross-Modal Task Representations [Luo+, ICML2025]
• MLLM内部で，モダリティに依存しない共有タスク表現が作られることを発見


# Page. 3

![Page Image](https://bcdn.docswell.com/page/LE1RQZ6XEG.jpg)

事前知識：MLLMの構造
◼ 3段構造が典型
• Vision Encoder → Projector → LLM
• Projector: Vision特徴量をLLMの入力空間にアラインする層
• 大抵MLPを使うがQ-Former, Cross Attn 等が用いられることも
LLaVA [Liu+, NeurIPS2023]
BLIP-2 [Li+, ICML2023]
LLaVA-1.5 [Liu+, CVPR2024]
Qwen-VL [Bai+, arXiv2023]


# Page. 4

![Page Image](https://bcdn.docswell.com/page/GEW1M9WK72.jpg)

Mixture of Specialized Vision Experts:
Unlocking Complementary Visual
Insights for Faithful MLLM Reasoning
Yifei Gao, Liangliang You, Jiye Xie, Changwei Wang, Kexue Fu, et al.
ECCV2026


# Page. 5

![Page Image](https://bcdn.docswell.com/page/47ZPQ95NE3.jpg)

概要
◼ 背景
• MLLMのハルシネーションが問題
• 単一のEncoderでは限界がある
• 複数Encoder（Expert）の活用が多いが
• 特徴量の統合が粗い
• Expertの専門性を引き出せていない
◼ 貢献
• Mixture of Specialized Vision Experts
(MoSVE) の提案
1. クエリと”相補性”に基づく統合
2. 専門性を強化する相補的学習戦略


# Page. 6

![Page Image](https://bcdn.docswell.com/page/YJ6M6K997V.jpg)

観察：Expertごとに見ている場所が違う
◼ 3種のEncoderのattentionを可視化
• CLIP：全体の意味的な領域
• DINOv2：物体の局所的な特徴
• SAM-L：物体の形状・境界
◼ 共通の領域と固有の領域がある
(パッチレベルでのアテンションスコアの類似度で見たら)
→ 相補性（complementarity）
◼ 設計方針
• 重複する情報はまとめる
• 複数Encoderは冗長そう
• 固有の情報は残す・伸ばす
• ココに統合のうまみがありそう


# Page. 7

![Page Image](https://bcdn.docswell.com/page/GJ5Z6PNDE4.jpg)

提案手法：Query-Guided Complementary Clustering
◼ 複数Encoderの特徴量（トークン）をどうやって統合するか


# Page. 8

![Page Image](https://bcdn.docswell.com/page/9E2RM68MJR.jpg)

提案手法：Query-Guided Complementary Clustering
◼ パッチ i ごとでExpert特徴をcos距離を基に統合
• 共通する情報はまとめ，固有の情報は残したい
• cos距離が閾値 τᵢ 未満のトークンは平均して1つに統合
類似度じゃなくて距離．
( = 1 – cos類似度)
◼ クエリによって適応的に閾値を変動
• 質問に関わるパッチほど統合せずに残すべき
𝜏𝑖 = 1 − 𝜎 𝛼 𝑠𝑖ҧ + 𝛽𝑒𝑖
𝑠𝑖ҧ ：テキストトークンとの平均類似度
𝑒𝑖 ：類似度のエントロピー


# Page. 9

![Page Image](https://bcdn.docswell.com/page/D7YDX96P7M.jpg)

提案手法：Complementary Rejection Fine-Tuning
◼ 学習によるExpertの専門化
1. CLIPベースのMLLMが推論時に間違えたサンプルを収集
2. 各サンプルを，CLIPと最も特徴が異なるExpertに割り当て
3. 割り当てられたサンプルだけで各Projectorを学習する
CLIPが苦手な問題を
CLIPと一番違う見方をする
Expertに任せて専門家に育てる


# Page. 10

![Page Image](https://bcdn.docswell.com/page/VEN61LZME8.jpg)

実験結果
◼ 評価：幻覚系ベンチマーク
• POPE：物体の有無をYes/Noで回答（↑）
• CHAIRₛ：幻覚物体を含むキャプションの割合（↓）
• MMVP：CLIPが区別できない画像ペア（↑）


# Page. 11

![Page Image](https://bcdn.docswell.com/page/Y79L54ZWJ3.jpg)

まとめ
MoSVE
◼ Encoderには得意・不得意があり，見ている場所も違う
◼ 手法
• 複数Encoderを使うときの組合せ方を工夫した
• 似た情報はまとめてしまう，違う情報は残す
• 残す基準はクエリによる
• 専門性の育て方工夫した
• 学習データをCLIPがうまくいっていないデータに絞る
◼ CLIPが苦手な問題を他のExpertに任せると，幻覚が減った
次論文：Encoderが作った視覚表現は，
LLMの中でどう使われているのか


# Page. 12

![Page Image](https://bcdn.docswell.com/page/G78XYQ1RED.jpg)

Hidden in plain sight:
VLMs overlook their visual
representations
Stephanie Fu, Tyler Bonnen, Devin Guillory, Trevor Darrell
COLM2025


# Page. 13

![Page Image](https://bcdn.docswell.com/page/L7L84XQ2JR.jpg)

概要
◼ 背景
• VLMは「視覚中心タスク」が苦手
• 画像だけ見れば解けるタスク
• 深度推定・対応点探索など
• Encoderの特徴量をそのまま使えば
解けるのに？
→ 視覚情報はどこで失われる？
◼ 貢献
1. 視覚中心タスクでEncoder単体とVLMの評価を比較
2. 性能低下の原因を3観点で切り分け
• ボトルネックはLLMによる活用だと示した
見えていないわけではなく，「使えていない」


# Page. 14

![Page Image](https://bcdn.docswell.com/page/4EM6KL197W.jpg)

評価設定：Encoder単体 vs VLM
◼ 視覚中心タスク6種で比較
• 言語的な知識なしで解けるはずのタスク
• Visual評価法（Encoder出力を直接使用）VS VLM評価法（VLMで答えさせる）
Visual評価法
VLM評価法
タスク
内容
意味的対応点マッチ
別物体間で意味的に同じ部位を選
パッチ特徴のコサイン類似度
ぶ
4択VQA
低レベル対応点マッチ
同一シーン（照明・視点違い）で
パッチ特徴のコサイン類似度
同じ点を選ぶ
4択VQA
物体アフォーダンス
マッチ
同じ機能を持つ部位を選ぶ
パッチ特徴のコサイン類似度
4択VQA
奥行き推定
2物体のどちらがカメラに近いか
DPTヘッドで深度推定し、box内平均
を比較
2択VQA
画風対応マッチ
参照と同じ画風の画像を選ぶ
Gram行列（スタイル特徴）のMSE
2択VQA
3D物体マッチ
多視点画像から別物体を1つ選ぶ
CLS埋め込みの類似度が最小の画像
3or4択VQA


# Page. 15

![Page Image](https://bcdn.docswell.com/page/PERPXKL979.jpg)

評価設定：Encoder単体 vs VLM
◼ 例）低レベル対応点マッチ
• 同じシーンを照明や視点を変えて撮った2枚の画像で対応する点を探す
参照点
選択肢


# Page. 16

![Page Image](https://bcdn.docswell.com/page/P7X36LW3EX.jpg)

実験結果：VLMにすると精度が急落
◼ VLMで解くと全タスクで精度が低下
• ほとんどチャンスレベル付近まで
• 複数のEncoderで同様
◼ Encoder間の順位も入れ替わる
• 例）DINOv2
• Visual：6タスク中5つで最良
• VLM：どのタスクでも最良にならない


# Page. 17

![Page Image](https://bcdn.docswell.com/page/37KY1LVNED.jpg)

分析：VLMの失敗はどこが原因？
◼ 3つの観点に切り分けて分析
1. LLM内で視覚表現が劣化？ → No
LLMの各層でも視覚情報は読み出せる
2. プロンプトの聞き方が問題？ → No
学習可能なprompt埋め込みを
追加してもVisual性能を超えられない
3. LLMの活用能力？ → Yes
Encoder・Projector・LLMの内，
LLMの追加学習が最も精度向上


# Page. 18

![Page Image](https://bcdn.docswell.com/page/LJ39Q3MZJ5.jpg)

まとめ
Hidden in plain sight
◼ VLMは視覚中心タスクが苦手（チャンスレベル近く）
• 自分の視覚エンコーダを直接読み出せば解けるのに
• エンコーダの順位も入れ替わる
◼ 原因はLLMが視覚情報を使っていないこと
• 視覚情報の劣化やプロンプトの問題ではない
• 言語的なバイアスで答えている
MLLMの成績だけでそのEncoderの良し悪しを判断するのは要注意
次論文：LLMの内部では，画像とテキストの
情報はどんな表現になっているのか


# Page. 19

![Page Image](https://bcdn.docswell.com/page/8JDG9464JG.jpg)

Vision-Language Models Create
Cross-Modal Task
Representations
Grace Luo, Trevor Darrell, Amir Bar
ICML2025


# Page. 20

![Page Image](https://bcdn.docswell.com/page/VEP3ZMYV78.jpg)

事前知識：タスクベクトル
◼ In-Context Learning
• 少数の例示からタスクを理解し答えさせる
例）Q.「Apple : Red，Lime : Green，Corn :」
A.「Yellow」
◼ タスクベクトル [Hendel+, EMNLP2023][Todd+, ICLR2024]
• 最後の区切りトークン位置での中間層の表現
• 例示から読み取ったタスクの要約を持つ
◼ “Patching”で確かめる
• 例示有りのタスクベクトルを，例示無しクエリで
同じ層・位置に上書き
• 例示無しでもそのタスクを実行できた！
[Hendel+, EMNLP2023]


# Page. 21

![Page Image](https://bcdn.docswell.com/page/27V4W9GREQ.jpg)

概要
◼ 背景
• LLMでは例示がタスクベクトルになる
• VLMは同一タスクの指定方法は色々ある
• テキスト例示／画像例示／指示文
→VLM内部では同じタスク表現になる？
◼ 貢献（VLMタスクベクトル分析）
• タスクベクトルはモダリティや形式にかかわら
ずまとまる（右図b）
• 「テキスト例示→画像でクエリ」もpatchで
解ける
• LLMからのタスクベクトル転移，指示文からの
タスクベクトル生成も可能


# Page. 22

![Page Image](https://bcdn.docswell.com/page/5JG1DZ867L.jpg)

分析設定
◼ タスクとその指定形式
• 表の6タスク（国→首都など）
• 3通りの指定形式
• テキスト指示 / テキスト例示 / 画像例示
• クエリは {<画像> : }
◼ 評価
• 最初のトークンの完全一致


# Page. 23

![Page Image](https://bcdn.docswell.com/page/47QD1L92EP.jpg)

分析方法
◼ Cross-modal patching
• テキスト例示によるタスクベクトルを
画像クエリ時にpatching
• 「別モダリティのタスクベクトルも機能す
るのか」を確かめよう
◼ 例示の与え方パターン
• Text Ex. Prompting
• Text Ex. Patching
• Image Ex. Prompting
• Image Ex. Patching
クロスモーダル
ユニモーダル


# Page. 24

![Page Image](https://bcdn.docswell.com/page/KE4ZRDXPJ1.jpg)

分析結果：クロスモーダル転移
◼ テキスト例示によるタスクは画像クエリでも転移された
• ただし単純なICLであるPromptingでは効果なし
誤
正
誤
正
例）クロスモーダル例示の結果


# Page. 25

![Page Image](https://bcdn.docswell.com/page/L71RQZNX7G.jpg)

分析結果：LLMからVLMへの転移
◼ LLMで作ったタスクベクトルはVLMでもクロスモーダルで機能する
• 同じ例示をVLMの元になるLLMに入力
• LLaVAならVicuna（右図）
• タスクベクトルは類似度0.95
• Text Ex. Patchingで評価
• VLM内と同等以上
例) LLaVA-1.5 [Liu+, CVPR2024]
タスクベクトル
Patcing


# Page. 26

![Page Image](https://bcdn.docswell.com/page/G7W1M94KJ2.jpg)

分析設定（再掲）
◼ タスクとその指定形式
◼ 評価
• 表の6タスク（国→首都など）
• 最初のトークンの完全一致
モダリティではなくICL自体の形式を
• 3通りの指定形式
• テキスト指示 / テキスト例示 / 画像例示
• クエリは {<画像> : }
変えたら？


# Page. 27

![Page Image](https://bcdn.docswell.com/page/4JZPQ92N73.jpg)

分析：指示文からのタスクベクトル
◼ 指示文1つで作ったタスクベクトル機能する
• 例示5つ分に相当する性能
• 例示と組み合わせることで性能向上


# Page. 28

![Page Image](https://bcdn.docswell.com/page/YE6M6KV9JV.jpg)

分析：層ごとの表現の変化
◼ 各層の最終トークン表現をテキストにデコードしてみる
• 「：」か「タスク内容」か「正解」のどの単語にデコードされやすいか
• 層毎の相対確率の推移
• 前半の層：入力時の「：」になりやすい
• 中盤の層：タスクを表す単語になりやすい
タスク名
タスク内容の単語
• 終盤の層：正解単語になりやすい
Country-Capital
capital
Country-Currency
currency
Animal-Latin
species
Animal-Young
baby
Food-Color
color
Food-Flavor
flavor


# Page. 29

![Page Image](https://bcdn.docswell.com/page/GE5Z6PDD74.jpg)

まとめ
Cross-Modal Task Rep.
◼ VLMは「何をするか」を画像でもテキストでも似た形で持つ
• クエリが画像でもテキストでも同じタスクベクトルを適用できる
◼ 例示を並べるだけでは，画像にうまく適用されない
• 内部の表現を直接差し込めば（Patching）タスクを画像に使える


# Page. 30

![Page Image](https://bcdn.docswell.com/page/972RMZMMER.jpg)

本紹介のまとめ
◼ 背景
• MLLM (VLM)の視覚理解は Vision Encoder → Projector → LLMの各段階で
視覚情報がどう扱われるかに依存する
• 各段階に着目した様々な研究がなされている
（Encoderの改良・統合，視覚表現の活用度の分析，LLM内部表現の解析 など）
◼ 紹介する論文
例) LLaVA-1.5 [Liu+, CVPR2024]
1. Mixture of Specialized Vision Experts: Unlocking Complementary Visual Insights for Faithful
MLLM Reasoning [Gao+, ECCV2026]
• 特性の異なる複数のVision Expertを質問に応じて統合しハルシネーションを抑制
2. Hidden in plain sight: VLMs overlook their visual representations [Fu+, COLM2025]
• Encoderが持つ視覚情報をMLLMが活用しきれていないことを分析
3. Vision-Language Models Create Cross-Modal Task Representations [Luo+, ICML2025]
• MLLM内部で，モダリティに依存しない共有タスク表現が作られることを発見