【DL輪読会】Readout Bottleneck in Vision-Language Models

Readout Bottleneck in Vision-Language Models Hiroto Osaka, Matsuo Iwasawa Lab, M2 http://deeplearning.jp/ 1

• http://deeplearning.jp/

背景 | Motivation 誤答だけでは、視覚情報が失われたのか、回答に使われなかったのか分からない 課題：1つだけ違うアイコンの位置を答える 差を⼤きくしても、正答率が低い属性がある 違いは⾊‧⼤きさ‧回転‧位置（単独または組み合わせ） Fig. 6 横軸：違いの⼤きさ（右ほど⼤きい）∕縦軸：正答率 Fig. 2 から抜粋 1つだけ 9% ⼩さい ⾚枠が正解の位置 ⼈：正答 4モデル：すべて誤答 GPT-5‧Gemini-2.5-Pro InternVL3.5‧Qwen3-VL ⾊：最⼤差では Qwen3-VL-32B と Gemini-2.5-Pro が約95% ⼤きさ‧回転‧位置：Qwen3-VL-32B は約6〜7割、他は約4割以下 誤答の原因として考えられる2つ（正答率だけでは区別できない） 保持の失敗：必要な違いの情報が、内部表現に残っていない 利⽤の失敗：情報は残っているが、正しい回答につながらない OddGridBench: Exposing the Lack of Fine-Grained Visual Discrepancy Sensitivity in Multimodal Large Language Models · CVPR 2026 · arXiv v2 https://arxiv.org/abs/2603.09326v2 · Tengjin Weng, Wenhao Jiang, Jingyi Wang, Ming Li, Lin Ma, Zhong Ming 2

• https://arxiv.org/abs/2603.09326v2

背景 | Readout Bottleneck Readout Bottleneck：情報は内部表現にあるのに、回答に使われない状態 保持の失敗 Readout Bottleneck（利⽤の失敗） 情報が内部表現に残っていない 情報は残っているのに、回答に使われない → 内部から読み出しても解けない → 内部からは読めるのに、答えられない 読み出し：情報は内部に残っているか 介⼊：その情報が回答に効いているか LLM の層 画像 LLM の層 回答 probe （線形分類器） カテゴリ A / B を 当てられる 回答？ 画像 ≠ 差し替え 別⼊⼒の中間表現 回答が 変わるかを⾒る 読めれば：測った位置に情報は残っている 回答が変われば：その表現は回答に影響している 残る問い：回答に使っているかは分からない [S1][S2] 注意点：⼊⼒の壊し⽅‧評価指標で結果が変わる [S3] 主にこの問いを扱う論点：① 保持 [2][3]‧② 形成 [4]‒[7] 主にこの問いを扱う論点：③ 利⽤ [8]‒[10]‧④ 介⼊ [11][12] この区別を扱った⽅法論‧サーベイ（VLM の内部解析の全体像は [S4]） [S1] Y. Belinkov. Probing Classifiers: Promises, Shortcomings, and Advances. Computational Linguistics 2022 [S2] A. Ravichander et al. Probing the Probing Paradigm: Does Probing Accuracy Entail Task Relevance? EACL 2021 [S3] F. Zhang, N. Nanda. Towards Best Practices of Activation Patching in Language Models: Metrics and Methods. ICLR 2024 [S4] Z. Lin et al. A Survey on Mechanistic Interpretability for Multi-Modal Foundation Models. arXiv 2025 3

全体像 | Overview Readout Bottleneck が VLM のどこで起きうるかを、 4つの論点で調べる LLM（画像が先に⼊る⼊⼒の例） 質問位置を介さない経路 LM head 次トークン分布 深い層 画像 Vision encoder 正答率‧⾏動のみ [1][7] Projector 浅い層 [2] 画像トークン [2][4][8][9][10][12] [2] ① 保持 深い層でも、画像の内容を内部表現から読み出せるか [2] Hidden in plain sight（probe） [3] Lepori+（LLM のみ‧表現の幾何） 質問トークン [8] 最終⼊⼒位置 [5][8][9][11][12] 論⽂は主な論点で分類 （重複する研究もある） ② 形成 質問や指⽰によって、内部表現はどう変わるか [4] Context Recodes（steering） [5] Decomposing（幾何変換の移植） [6] Geometry of Prompting（LLM のみ） [7] CC-ICL（⾏動のみ） ③ 利⽤ 回答を予測するとき、どの位置の情報を使うか ④ 介⼊ 内部表現や情報の経路を操作すると、回答はどう変わるか [8] Pathways（patching） [11] Cross-Modal Task Rep.（task vector の移植） [9] Ask Twice（logit lens‧knockout） [10] VLMs Need Words（logit lens） [12] Encoded but Disconnected（残差‧head patching） 最終入力位置＝最初の回答トークンを予測する位置。矢印は情報の流れで、斜めの矢印は質問位置を介する経路（ [8]）。 [4][9] は指示・質問を画像の前に置く条件も比較。 [12] は BOS・画像末尾・テキスト末尾を測定。 LLM のみの [3] は文脈中の単語、 [6] は文トークン平均と最終入力位置を測定 4

① 保持 | Section Overview 誤答の原因は、情報が失われたからか、使えていないだけか ⾒る位置 画像 Vision encoder 画像トークン 質問トークン 最終⼊⼒位置 出⼒ この部で⾒る論⽂：[2] Hidden in plain sight、[3] Lepori+ 2026（LLM のみ） 仮説 A｜保持の失敗 仮説 B｜Readout Bottleneck 画像の情報は、LLM の深い層に届くまでに失われる 情報は深い層まで残るが、回答で⽣かされない こうなるはず：内部表現から読んでも、課題が解けない こうなるはず：内部からは解けるのに、回答の精度は低い 論⽂の位置づけ [2] Hidden in plain sight：同じ課題を、encoder の直接評価‧各層の probe と、LLM を通した回答で⽐べる → A と B を⾒分ける [3] Lepori+ 2026：構造を表す指標と、次の予測の精度を LLM で⽐べる → B に近いずれが LLM でも起きるか ⾒るポイント：読み出した精度と回答の精度を同じ課題で並べているか。読み出しに何を使ったか（probe か、表現の幾何か） 5

① 保持 | Hidden in plain sight 内部から読める課題情報を、 VLM は回答で生かせていない 問い：視覚 encoder から解ける課題を、VLM はなぜ⾔語で答えられないのか？ 結論：画像位置の課題情報は後半層まで残る。回答は低精度で、LLM 側の更新が最も効く 検証対象 VLM ① 同じ課題を2通りで評価（Fig. 1） ② 中間層にも課題情報が残る（Fig. 5） ③ LLM の更新が最も効く（Fig. 7） 対応付け‧深度などを、encoder の直接評価と VQA で⽐較 projector と LLM の各層で画像位置を probe 学習パラメータ数を揃えて更新部位を⽐較 層が進んでも課題情報はほぼ劣化しない ViT‧projector より LLM の更新で精度が上がる 例：DINOv2 の直接評価は 0.82、VLM の回答は 0.17（偶然⽔準 0.25） 特徴が残っていても、回答精度は低い 図は左3課題。全課題で最良だとまでは⾔えない 測定位置：encoder 出⼒、projector、LLM 各層の画像位置 ｜ 未検証：最終⼊⼒位置から出⼒までの失敗回路 Hidden in plain sight: VLMs overlook their visual representations · COLM 2025 · Outstanding Paper Award https://arxiv.org/abs/2506.08008v1 · Stephanie Fu, Tyler Bonnen, Devin Guillory, Trevor Darrell 6

• https://arxiv.org/abs/2506.08008v1

① 保持 | Language Models Struggle to Use Representations Learned In-Context 文脈で獲得した構造でも、置き方によっては次の予測に使われない 問い：⽂脈中に学んだ状態空間の構造を、その後の予測に利⽤できるか？ 結論：構造の獲得は同程度でも、遷移列を user prompt に置くと次状態予測が⼤きく下がる 検証対象 LLM ① 未知の状態空間を⽂脈で提⽰（Fig. 2） ② 予測精度は提⽰位置で変わる（Fig. 4） ③ 構造の獲得は同程度（Fig. 5） 任意語の遷移列で、線‧格⼦の構造を提⽰ 横軸：状態空間 / 縦軸：次状態予測の正答率 横軸：⽂脈⻑ / 縦軸：条件間の指標の⽐ 同じ列を user prompt（Instruction）か、 assistant の応答（Prefilled）に置く Prefilled は約 0.9 以上 距離相関と Dirichlet energy の⽐はほぼ 1 Instruction は約 0.35〜0.53 表現の質だけでは利⽤の差を説明できない 測定位置：遷移列の単語トークン ｜ 未検証：VLM での対応、利⽤の失敗を⽣む回路 Language Models Struggle to Use Representations Learned In-Context · ACL 2026 · arXiv v3 https://arxiv.org/abs/2602.04212v3 · Michael A. Lepori, Tal Linzen, Ann Yuan, Katja Filippova 7

• https://arxiv.org/abs/2602.04212v3

② 形成 | Section Overview 文脈で表現が変わったとき、その変化は回答を変えるか ⾒る位置 画像 Vision encoder 画像トークン 質問トークン 最終⼊⼒位置 出⼒ この部で⾒る論⽂：[4] Context Recodes、[5] Decomposing、[6] Geometry of Prompting（LLM のみ）、[7] CC-ICL 仮説 A｜表現の変化が回答を動かす 仮説 B｜表現と回答がずれる ⽂脈は表現を書き換え、その変化が回答を変える 表現の変化と、回答の変化が⼀致しない こうなるはず：表現の変化を操作‧移植すると、回答も動く こうなるはず：表現の指標と、精度や回答の境界が対応しない 論⽂の位置づけ [4] Context Recodes：指⽰あり∕なしで画像トークンを⽐べ、その差を操作して回答を⾒る → A [5] Decomposing：指⽰による変化を幾何変換に分け、どの変換で回答が戻るかを⾒る → A と B（変化の⼤きさと効果） [6] Geometry of Prompting：prompt ごとに、表現の分離性と精度を⽐べる → B [7] CC-ICL：例⽰で判断基準を変え、回答の境界が追従するかを⾒る（内部は未測定） → B ⾒るポイント：表現をどの位置で測ったか（画像トークンか、最終⼊⼒位置か）。表現の変化を、回答の変化まで追ったか 8

② 形成 | Context Recodes 画像の前に置いた指示は、画像トークンの表現を書き換える 問い：画像より前の⾔語指⽰は、画像トークンの何を変え、その変化は回答に関与するか？ 結論：参照対象のタグは中層、関連属性の増幅は後層に現れ、介⼊で回答分布が動く 検証対象 VLM ① 参照⽅向の抽出（Fig. 3a） ② 参照⽅向で対象を⼊れ替える（Fig. 3b） ③ 後層の更新を⽌める（Fig. 9） 同じ画像に、参照あり∕なしの質問を先に置く 参照⽅向を別の物体に加え、元の対象から引く 参照物体の画像トークンを各層以降で固定 物体の画像トークンの状態差を参照⽅向とする 合成画像でも⾃然画像でも、回答の対象が変わる 正しい属性への logit gap が下がる 凍結は後続の処理を全て⽌めるため、属性変調だけ の効果は切り分けられない 測定位置：物体に対応する画像トークン（層別） ｜ 未検証：既存の6⾊‧6形以外、連続次元上の新しい境界、正答率での評価 Linguistic Context Recodes Visual Representations in Vision-Language Models · EMNLP 2026 · arXiv v1 https://arxiv.org/abs/2608.00035v1 · Brian Song, Michael A. Lepori, Ellie Pavlick 9

• https://arxiv.org/abs/2608.00035v1

② 形成 | Decomposing 表現変化の大半は平行移動で説明できるが、回答の回復にはそれ以上の変換が要る 問い：prompt による表現変化は、どの幾何変換で説明‧再現できるか？ 結論：平⾏移動が分散の⼤半を説明するが、課題構造と回答の回復には affine 以上の変換が要る ① 単純な変換から順に当てはめる（Fig. 3） ② 変換した状態を移植して検証（Fig. 5） 同じ刺激に指⽰ A∕B を与え、最終⼊⼒トークンを全層で測る A の状態を学習済みの変換で写し、単⼀層で差し替える 平⾏移動 → 剛体＋⼀様拡縮 → 軸別拡縮 → affine → ⾮線形 平⾏移動は RDM の順位と silhouette を変えないが、回答は変わりうる 各段が追加で説明する分散（上：LLM、下：VLM） affine で課題構造と回答が⼤きく回復（⽐較した変換‧課題の範囲） 検証対象 両⽅ 測定位置：最終⼊⼒トークンのみ。画像トークンは測っていない ｜ 未検証：few-shot、新しいカテゴリ、通常の計算の回路 Decomposing how prompting steers behavior · arXiv preprint · 2026 https://arxiv.org/abs/2606.03093v1 · Fan L. Cheng, Nikolaus Kriegeskorte 10

• https://arxiv.org/abs/2606.03093v1

② 形成 | Geometry of Prompting 精度が大きく違う prompt でも、表現の分離性はほぼ同じ 問い：同程度の精度を得る prompt は、同じ内部表現を作るのか？ 結論：例⽰数が同じでも精度は⼤きくばらつくが、容量（分離性）はほぼ同じ。著者は表現と読み出しのずれと解釈 ① 精度が低くなる⼆つの理由（Fig. 1） ② 分離性だけでは精度を説明できない（Fig. 6） 左：表現がもつれている（容量も精度も低い） 左：5例⽰の各試⾏で精度は約 0.1〜0.65、容量はほぼ同じ 右：表現は分かれているが、読み出しが合わない 右：精度の最良5試⾏と最悪5試⾏で、層別の容量はほぼ⼀致 manifold capacity は理想的な線形デコーダから⾒た分離性 指⽰は容量が低くても精度 0.65 検証対象 LLM 測定位置：⽂トークンの平均と最終トークン、全層 ｜ 未検証：介⼊による検証、VLM での対応 The Geometry of Prompting: Unveiling Distinct Mechanisms of Task Adaptation in Language Models · Findings of NAACL 2025 https://arxiv.org/abs/2502.08009v1 · Artem Kirsanov, Chi-Ning Chou, Kyunghyun Cho, SueYeon Chung 11

• https://arxiv.org/abs/2502.08009v1

② 形成 | CC-ICL 例示で判断基準を変えても、多くの VLM は回答の境界を動かさない 問い：課題は固定したまま、例⽰で変えた判断基準に回答を合わせられるか？ 結論：多くのモデルは基準が変わっても境界を保つ（rigid boundary bias）。例⽰を増やしても改善は⼩さい ① 同じ Query の正解が基準で変わる（Fig. 1） ② 例⽰を増やしても追従は限定的（Fig. 3） ⼯業検査‧医療‧監視映像で、例⽰の集合から基準を推定する 横軸：shot 数 / 左：CI、右：CS（⼯業検査） CI：基準によらず同じ正解を保てるか 9 shot でもオープンモデルの CS は約 17〜34%（GPT-4o は約 59%） CS：基準で正解が変わるときに追従できるか 改善策は多基準での追加学習で、重み更新を伴う 検証対象 VLM 測定位置：回答（⾏動）のみ ｜ 未検証：内部で境界や表現が動いたか Criterion-Conditional In-Context Learning: Evaluating Criterion-Shift Adaptation in Vision-Language Models · ICML 2026 · arXiv v2 https://arxiv.org/abs/2607.02575v2 · Kaiyun Yang, Ruilin Yang, Zhimin Yao, Jikai Wang, Wei Ge 12

• https://arxiv.org/abs/2607.02575v2

③ 利用 | Section Overview 情報は回答を出す位置まで届いているか、届いても使える形か ⾒る位置 画像 Vision encoder 画像トークン 質問トークン 最終⼊⼒位置 出⼒ この部で⾒る論⽂：[8] Pathways、[9] Ask Twice、[10] VLMs Need Words 仮説 A｜経路の問題 仮説 B｜形式の問題 情報が最終⼊⼒位置に届く経路が限られている 名前を付けにくい情報は、届いても使われにくい こうなるはず：回答を左右する位置‧層が限られる こうなるはず：名前のない対象では、表現と回答が⾷い違う 論⽂の位置づけ [8] Pathways：画像‧質問‧最終⼊⼒位置の状態を、層ごとに別の画像のものと交換する → A（どの経路か） [9] Ask Twice：質問の順序を変えて、パッチの語と attention を⾒て、遮断する → A（経路が切れる条件） [10] VLMs Need Words：名前あり∕なしの対象で、表現の類似と回答を⽐べる → B ⾒るポイント：回答を変えたのは「どこを通る情報か」か、「どんな形の情報か」か。介⼊で確かめたか、読み出しだけか 13

③ 利用 | Pathways (1/2) 視覚情報は、直接経路と質問を介する経路の 2通りで最終入力位置へ届く 問い：回答に使う視覚情報は、画像位置と質問位置のどちらから読み出されるか？ ⽅法：答えの異なる2画像の状態を、画像‧質問‧最終⼊⼒位置ごとに層別で交換する 検証対象 VLM ① ⼆つの経路（Fig. 1） Direct：画像トークン → 最終⼊⼒位置 Text-mediated：画像トークン → 質問トークン → 最終⼊⼒位置 因果マスクのため、情報は前から後ろへだけ流れる 最終⼊⼒位置に届くまでの経路は⼆通りありうる ② 状態交換で経路を切り分ける（Fig. 2） 同じ質問に異なる正解を返す2画像を⽤意（両⽅とも正答） 位置と層を選び、1か所だけ移植元の状態に交換 移植元の答えの確率がどれだけ回復するかを測る 枠の⾊：橙＝画像、⻘＝質問、緑＝最終⼊⼒位置 測定位置：画像‧質問‧最終⼊⼒位置の3位置、各層 ｜ 注意：使い分けは課題‧データ‧prompt に依存する（次⾴） Pathways of Visual Information Flow in Vision-Language Models · NeurIPS 2026 · arXiv v2 https://arxiv.org/abs/2607.03358v2 · Israfel Salazar, Stella Frank, Dan Oneata, Desmond Elliott, Constanza Fierro 14

• https://arxiv.org/abs/2607.03358v2

③ 利用 | Pathways (2/2) どちらの経路を使うかは、課題だけでなく prompt でも変わる 問い：経路の使い分けは課題で決まるのか、prompt でも変わるのか？ 結論：回答候補を⽰すと、情報は中層で質問トークンを経由する。候補なしでは直接経路が主になる ① 物体認識‧合成画像での回復率（層別） 検証対象 VLM 候補あり（⾊付きの線） 画像トークン：前半層（約14層まで）の交換で回復 質問トークン：中層（約15〜23層）の交換で回復 最終⼊⼒位置：後半層（約26層以降）の交換で回復 候補なし（灰⾊、Open） 画像トークンの交換が後半層（約28層）まで効く 質問トークンの交換はほぼ効かない → 直接経路 解釈上の注意 介⼊後は別の経路を使う可能性があり、通常の計算で同じ経路を使うとは⾔えない 「質問経由＝カテゴリ情報、直接＝連続情報」という対応は検証されていない 測定位置：画像‧質問‧最終⼊⼒位置 ｜ 未検証：経路と、運ばれる情報の種類（カテゴリ∕連続）の対応 Pathways of Visual Information Flow in Vision-Language Models · NeurIPS 2026 · arXiv v2 https://arxiv.org/abs/2607.03358v2 · Israfel Salazar, Stella Frank, Dan Oneata, Desmond Elliott, Constanza Fierro 15

• https://arxiv.org/abs/2607.03358v2

③ 利用 | Ask Twice (1/2) 質問を先に置くと、画像パッチの表現は質問に関連する語へ寄る 問い：質問を先に⾒せて画像表現を誘導できるなら、なぜ回答は悪くなるのか？ 結論：質問が先だと、画像パッチから読み出す語が質問に関連する語に変わる。それでも誤答する 検証対象 VLM ① 画像パッチの表現は質問で変わる（Fig. 2、Qwen3-VL、各パッチの最終層を logit lens で語彙に射影） SIT（質問が後）：パッチは⼀般的な語のままで、正答 STIT（質問を再提⽰）：誘導を保ったまま正答 STI（質問が先）：boy、running が ahead、chase に変わり、誤答 ⾚枠は質問を反映した語。⾊は語の確率 測定位置：画像パッチ（logit lens） ｜ 未検証：質問で変わった表現が、回答に使われているか（次⾴） Ask Twice, Look Twice: Prompt Echoing Resolves the Question-First Paradox in Vision-Language Models · ECCV 2026 eXCV Workshop · arXiv v2 https://arxiv.org/abs/2607.15565v2 · Rakshanda Hassan Abhinandan, John Galeotti, Deva Ramanan, Gautam Rajendrakumar Gare 16

• https://arxiv.org/abs/2607.15565v2

③ 利用 | Ask Twice (2/2) 質問が先だと、最終入力位置から質問への attention が弱まり、再提示で回復する 問い：最終⼊⼒位置は、誘導された画像表現と質問をどう読んでいるか？ 結論：質問先⾏では、最終⼊⼒位置から質問への直接 attention の寄与が検出されない。再提⽰で回復する 検証対象 VLM ① 層ごとの attention と正解確率（Fig. 4、NaturalBench で順序により正誤が分かれた150対の平均） 回答→質問：STI（⾚）は中層で質問をほぼ⾒ない 回答→画像：STI は画像へ過剰に注意する 正解確率：質問が回答に近い順序でのみ上がる 介⼊：attention knockout で⼆重乖離（SIT は回答→質問、STI は回答→画像の遮断で低下） ｜ 範囲：調べた条件のみ、効果量はモデル依存 Ask Twice, Look Twice: Prompt Echoing Resolves the Question-First Paradox in Vision-Language Models · ECCV 2026 eXCV Workshop · arXiv v2 https://arxiv.org/abs/2607.15565v2 · Rakshanda Hassan Abhinandan, John Galeotti, Deva Ramanan, Gautam Rajendrakumar Gare 17

• https://arxiv.org/abs/2607.15565v2

③ 利用 | VLMs Need Words 内部で区別できていても、名前のない対象の比較では正答しにくい 問い：内部では対応を区別できるのに、名前のない対象では正しく答えられないのはなぜか？ 結論：命名できる対象ほど⽐較が解ける。課題の直接学習は、語彙上の区別が⼩さくても⾼精度 ① 命名可能性と対応付け（Fig. 1） ② 語彙上の区別と精度は別（Fig. 6） REF に対応する領域を4候補から選ぶ 横軸：層 / 縦軸：logit lens の上位語の集合の差 名前のある部位（Named）とない部位（No-Name）を⽐較 課題学習（紫）は名前学習（⾚）より差が⼩さい 表現の類似度は B を⽰すが、モデルの回答は A それでも精度は 98.7% 対 86.0% で課題学習が⾼い 検証対象 VLM 測定位置：局所の画像トークン（MaxSim）、logit lens ｜ 注意：改善は追加学習による。重み固定の⽂脈内の命名とは異なる VLMs Need Words: Vision Language Models Ignore Visual Detail In Favor of Semantic Anchors · COLM 2026 · arXiv v3 https://arxiv.org/abs/2604.02486v3 · Haz Sameen Shahgir, Xiaofu Chen, Yu Fu, Erfan Shayegani, Nael Abu-Ghazaleh, Yova Kementchedjhieva, Yue Dong 18

• https://arxiv.org/abs/2604.02486v3

④ 介入 | Section Overview 内部の状態を直接移植すると、回答はどこまで動くか ⾒る位置 画像 Vision encoder 画像トークン 質問トークン 最終⼊⼒位置 出⼒ この部で⾒る論⽂：[11] Cross-Modal Task Rep.、[12] Encoded but Disconnected 移植 A｜課題の状態 移植 B｜正答例の状態 ⽂章例から取った課題の状態を、画像クエリに移す 正答した別の例の残差‧head を、誤答例に移す 確かめること：説明がなくても、画像で課題を実⾏できるか 確かめること：誤答が正答に変わるか 論⽂の位置づけ [11] Cross-Modal Task Rep.：⽂章例から取った task vector を、画像クエリの最後の区切りトークンに移植する → A [12] Encoded but Disconnected：正答例の残差‧head を誤答例に移植する → B ⾒るポイント：何を（課題の状態か、別の例の状態か）、どこに移植したか。効果がないとき、どこまで否定できるか 19

④ 介入 | Cross-Modal Task Representations 文章例から取った task vector 1つで、画像クエリでも課題を実行できる 問い：異なる modality や形式で与えた課題は、共通の内部表現になるか？ 結論：⽂章例の task vector を画像クエリへ移植すると課題を解ける。例⽰を prompt に⼊れるより⾼い ① ⽂章例の状態を画像へ移植（Fig. 3） ② ⼊⼒より課題でまとまる（Fig. 2） 検証対象 VLM ③ 移植の効果（Table 2、6課題平均） モデル Prompt Patch LLaVA-v1.5 0.18 0.32 Mantis-Fuyu 0.09 0.31 Idefics2 0.18 0.51 国→⾸都など6課題を⽂章例で提⽰ ⾊＝課題、形＝⽂章例‧画像例‧指⽰ Prompt：⽂章例を⼊⼒に含めた場合の正答率 ⽂末付近の中間層から課題の状態を抽出 ⼊⼒の埋め込みはモダリティで分かれる Patch：task vector を移植した場合の正答率 課題説明のない画像クエリに移植する task vector は課題ごとにまとまる ⼗分性は⽰すが、通常の計算での必要性は未検証 測定位置：最後の区切りトークン（検証で選んだ1層） ｜ 未検証：視覚細部の保持、通常の prompting がこの経路を使うか Vision-Language Models Create Cross-Modal Task Representations · ICML 2025 · arXiv v2 https://arxiv.org/abs/2410.22330v2 · Grace Luo, Trevor Darrell, Amir Bar 20

• https://arxiv.org/abs/2410.22330v2

④ 介入 | Encoded but Disconnected 中層で正解を復号できても、残差・ head の移植では誤答がほぼ回復しない 問い：誤答時にも中層で復号できる正解は、なぜ出⼒に反映されないのか？ 結論：残差‧head patching で誤答はほぼ回復しない。ただし、正解の情報が使われていないとまでは⾔えない ① 正解は中層で top-1（Fig. 2） 検証対象 VLM ② head 単位でもほぼ反転しない（Fig. 3） ③ この介⼊から⾔える範囲 ⼆値課題の strict ペアでは、donor の正解 は recipient の現在の誤答と同じ 答えが変わらなくても、移植した情報が使 われなかったのか、使われて同じ答えに なったのかは区別できない 著者も、標準的な残差‧head patching に 限った否定的な結果と述べている POPE の yes/no 課題、3モデル 正答例の状態を誤答例へ移植（strict ペア） EAS+：誤答のうち、中層で正解が top-1 の割合 成功＝recipient の正解への反転 予測が No の誤答では 95〜100% InternVL3 の L20 H2 のみ 26%（50組） 確認できたのは、今回試した位置と 移植内容では正答に戻らないこと 別の50組：移植 32%、同ノルムのランダム 14% 測定位置：BOS‧画像末尾‧テキスト末尾、層単位と head 単位 ｜ 未検証：attribution patching‧path patching など別の介⼊ Encoded but Disconnected: Decomposing Vision-Language Model Failures under a Patching Null · arXiv preprint · 2026 https://arxiv.org/abs/2610.00024v1 · Genpei Zhang 21

• https://arxiv.org/abs/2610.00024v1

まとめ | Map of Prior Work ①では情報が内部に残ることが示され、②〜④では回答に効く例と効かない例があった ① 保持 深い層でも、画像の内容を 読み出せるか ② 形成 質問や指⽰で、内部表現は どう変わるか 内部に情報はあるが、回答に使えない Hidden in plain sight Lepori+ 2026 VLM LLM Context Recodes Geometry of Prompting VLM LLM 表現の変化が回答に効く例と効かない例 Decomposing CC-ICL 質問で変わった表現を操作すると回答が動く。分離性 の指標と精度が⼀致しない例もある VLM‧LLM VLM ③ 利⽤ 回答時にどの位置の 情報を使うか Pathways Ask Twice VLM VLM VLM 届く経路は介⼊で確認、名前の影響は未確定 交換‧遮断で経路を調べ、prompt で切り替わること も⽰した。名前の影響は読み出しのみ 課題の切り替えは可能、誤答の回復は限定的 ④ 介⼊ 表現や経路を操作すると、 回答は変わるか VLMs Need Words encoder で解ける課題の情報が LLM の後半層まで読 めるのに、VLM は誤答する（LLM でも同様） Cross-Modal Task Rep. VLM Encoded but Disconnected VLM ⽂章例から取った課題の状態を移すと、画像でも課題 が切り替わる。 正答例の残差‧head の移植では、反転は最良 26% 22

まとめ | 未解決の課題 今回の範囲では、情報が内部にあることは示されたが、回答に使われる条件は一部しか分かっていない ① 保持 ● ● ● 対応付け‧深度などの課題では、情報は LLM の後半層まで読める（[2]） OddGridBench のような仲間外れ探しで、内部の情報を測った研究は今回の範囲にない probe で⾒たのは画像位置の表現まで。最終⼊⼒位置から出⼒のどこで使われなくなるかは不明（[2]） ② 形成 ● ● ● 指⽰で表現は変わる。その変化が回答を動かす例と、表現の指標と回答がずれる例がある（[4]〜[6]） 扱われた区別は既存の6⾊‧6形など。例⽰だけで決めた区別（例：⾊相の途中の境界）は未検証（[4]） 例⽰で基準を変えても回答の境界は追従しにくい。内部は未測定で、どこで⽌まるかは不明（[7]） ③ 利⽤ ● ● ● 情報の経路は交換‧遮断で確かめられ、prompt によって切り替わる（[8][9]） 経路で運ばれるのがカテゴリ的な情報か、連続的な値かは分かっていない（[8]） 名前のない部位では、類似度は正しい対応を⽰すのに回答は誤る。形式が原因かは介⼊で未確認（[10]） ④ 介⼊ ● ● ● 課題の状態の移植は効くが、正答例の残差‧head の移植では誤答の回復は限定的（[11][12]） 移植で課題が動くこと（⼗分性）は⽰されたが、通常の推論でその状態が必要か（必要性）は未検証（[11]） 効果がないとき、情報が使われていないのか、移した位置‧成分が違うのかを⾒分けられない（[12][S3]） 23

参考文献 | References [1] T. Weng et al. OddGridBench: Exposing the Lack of Fine-Grained Visual Discrepancy Sensitivity in Multimodal Large Language Models. CVPR 2026. arXiv:2603.09326 [2] S. Fu, T. Bonnen, D. Guillory, T. Darrell. Hidden in plain sight: VLMs overlook their visual representations. COLM 2025. arXiv:2506.08008 [3] M. A. Lepori, T. Linzen, A. Yuan, K. Filippova. Language Models Struggle to Use Representations Learned In-Context. ACL 2026. arXiv:2602.04212 [4] B. Song, M. A. Lepori, E. Pavlick. Linguistic Context Recodes Visual Representations in Vision-Language Models. EMNLP 2026. arXiv:2608.00035 [5] F. L. Cheng, N. Kriegeskorte. Decomposing how prompting steers behavior. arXiv preprint 2026. arXiv:2606.03093 [6] A. Kirsanov, C.-N. Chou, K. Cho, S. Chung. The Geometry of Prompting: Unveiling Distinct Mechanisms of Task Adaptation in Language Models. Findings of NAACL 2025. arXiv:2502.08009 [7] K. Yang et al. Criterion-Conditional In-Context Learning: Evaluating Criterion-Shift Adaptation in Vision-Language Models. ICML 2026. arXiv:2607.02575 [8] I. Salazar et al. Pathways of Visual Information Flow in Vision-Language Models. NeurIPS 2026. arXiv:2607.03358 [9] R. H. Abhinandan, J. Galeotti, D. Ramanan, G. R. Gare. Ask Twice, Look Twice: Prompt Echoing Resolves the Question-First Paradox in Vision-Language Models. ECCV 2026 Workshop (eXCV). arXiv:2607.15565 [10] H. S. Shahgir et al. VLMs Need Words: Vision Language Models Ignore Visual Detail In Favor of Semantic Anchors. COLM 2026. arXiv:2604.02486 [11] G. Luo, T. Darrell, A. Bar. Vision-Language Models Create Cross-Modal Task Representations. ICML 2025. arXiv:2410.22330 [12] G. Zhang. Encoded but Disconnected: Decomposing Vision-Language Model Failures under a Patching Null. arXiv preprint 2026. arXiv:2610.00024 関連する⽅法論‧サーベイ（p3 で引⽤） [S1] Y. Belinkov. Probing Classifiers: Promises, Shortcomings, and Advances. Computational Linguistics 2022. arXiv:2102.12452 [S2] A. Ravichander, Y. Belinkov, E. Hovy. Probing the Probing Paradigm: Does Probing Accuracy Entail Task Relevance? EACL 2021. arXiv:2005.00719 [S3] F. Zhang, N. Nanda. Towards Best Practices of Activation Patching in Language Models: Metrics and Methods. ICLR 2024. arXiv:2309.16042 [S4] Z. Lin et al. A Survey on Mechanistic Interpretability for Multi-Modal Foundation Models. arXiv preprint 2025. arXiv:2502.17516 24

• https://arxiv.org/abs/2603.09326
• https://arxiv.org/abs/2506.08008
• https://arxiv.org/abs/2602.04212
• https://arxiv.org/abs/2608.00035
• https://arxiv.org/abs/2606.03093
• https://arxiv.org/abs/2502.08009
• https://arxiv.org/abs/2607.02575
• https://arxiv.org/abs/2607.03358
• https://arxiv.org/abs/2607.15565
• https://arxiv.org/abs/2604.02486
• https://arxiv.org/abs/2410.22330
• https://arxiv.org/abs/2610.00024