【DL輪読会】Who Reasons in the Large Language Models？

DEEP LEARNING JP ”Who Reasons in the Large Language Models?” [DL Papers] Kensuke Wakasugi, Panasonic Holdings Corporation. http://deeplearning.jp/ 1

• http://deeplearning.jp/

書誌情報 ◼ タイトル： Who Reasons in the Large Language Models? ◼ 著者：Jie Shao Jianxin Wu∗ ◼ 所属：南京大学 ◼ 出典：NeurIPS 2025 poster https://openreview.net/pdf?id=XIqlxqNDCL ◼ 選書理由 • LLMの推論能力が、どの構成要素で獲得されるのか、に興味があったため。 • 主要な構成箇所が局所的であれば、追加学習の効率化に期待。 特に記載がない限り、本資料の図表は上記論文からの引用です 2

背景 LLMの推論能力はどこで獲得されているのか？ • 大規模言語モデル（LLM）の発展が著しいが、 数学的推論のような能力が、どこでどのように獲得されているか？ • 強化学習や教師ありファインチューニング（SFT）で推論能力が獲得できるが、 そのメカニズムは不明である。 DeepSeek-R1より引用 [2501.12948] DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning Guo, D., Yang, D., Zhang, H., Song, J., Wang, P., Zhu, Q., ... & He,Y. (2025). Deepseek-r1: Incentivizing reasoning capability in llms via reinforcement learning. arXiv preprint arXiv:2501.12948. 3

• https://arxiv.org/abs/2501.12948

推論メカニズムの仮説 特定のモジュールが推論能力を担うと仮定して、調査 • ケース1：推論能力はLLM全体に由来 • ケース2：特定のモジュール • ケース3（最悪の場合）：実は錯覚であり、過学習の結果 4

Stethoscope for Networks（SfN） ファインチューン前後のLLMの重みの変化から、重要モジュールを推定 聴診器 ChatとReasoning を別の箇所が担当？ 5

解析対象と記法 マルチヘッド自己注意モジュールと多層パーセプトロンの重みを解析 アーキテクチャ： MHSAに関わる重み： q_proj, k_proj, v_proj, o_proj MLPに関わる重み：up_proj, down_proj, gate_proj ※残差接続は省略 ※回転位置埋め込み（RoPE）、入力埋め込み （embed_tokens）、レイヤ正規化（layernorm）［4］、 および言語モデルヘッド（lm_head）などもある 比較モデル： ベースモデルA：Qwen2.5-Math-1.5B、7B、14B、32B 推論モデルB：DeepSeek-R1-Distill-Qwen-1.5B、7B、14B、32B 6

Delta Stethoscope 学習前後でo_projが最も変化 ←下記を可視化 7

推論能力に関する仮説 出力射影 o_proj が推論能力形成に重要か？ ←下記を可視化 o_projのみ 非ゼロに２ピーク 8

Merge Stethoscope 部分置換した際の、会話推論能力を比較 タスク設定 A = Qwen2.5-Math-1.5B B = DeepSeek-R1-Distill-Qwen-1.5B モデルAに対し、モデルBのo_projモジュール のみを置換して、その推論能力を測る 評価基準（右図） • レベルI：ランダム、意味をなさない • レベルII：文法的〇、文脈× • レベルIII：文脈〇、推論× • レベルIV：推論〇 9

評価結果 ファインチューニングなしでも、 o_projのみの置換で推論能力獲得 結果 o_projのみの置換で、モデルB相当の能力に トークン数も増加（適切な推論過程を生成） o_projの重要性を示唆 なお、大きいモデル（7B以上）の場合、あまり 性能向上しなかった これはLayerNormの正規化パラメータの互換 性に起因すると推測 10

Merge Stethoscopeの出力結果 M1において、適切な推論過程を経て正しい答えを出力 11

Freeze Stethoscope o_proj とLayerNormのみの更新でも推論能力を獲得 タスク設定 ベースモデル A：Qwen2.5-32B-Instruct データセット D：高品質なデータ1,000件 モデルFを、Aで初期化しo_proj とLayerNormのみを更新。 ※入力埋め込み（embed_tokens） と 言語モデルヘッド（lm_head）も更新 ※学習方法はs1 ［25］に準拠 性能と、学習コストを踏まえると、 o_proj とLayerNormのみを更新 が最も良い 12

Destruction Stethoscope o_projを破壊しても会話能力は維持 タスク設定 • モデル：Qwen2.5-32B with 64 layers ※他をいじるとすべてIになるため • 破壊操作（Layer5-30が対象） • Zero：パラメータを0に • ReInit：Gauss(0,0.02)で再初期化 • Remove：モジュールを削除 評価基準（右図） • レベルI：ランダム、意味をなさない • レベルII：文法的〇、文脈× • レベルIII：文脈〇、推論× • レベルIV：推論〇 v_proj, o_projが破壊されても、 会話能力は維持。 ※統計値ではないので、その点は注意 13

結果を踏まえた推測 モジュールごとの機能分担と、プラグインの可能性を示唆 • 推測1： 役割分担 • LLMは大まかに2種類のモジュール集合に分けられる。 • 出力射影（o_proj）：主に推論を担う • それ以外：主に会話能力を担う • 推測2：出力射影プラグイン • 出力射影はプラグインのように振る舞う可能性がある。 • 例えば、推論用のo_proj、特定ドメイン適応向けo_proj、といった形で、 目的に応じて切り替えられる可能性がある 14

応用可能性 本研究の洞察から、以下のような応用が考えられる • 高速かつ高性能な推論LLM • 出力射影（o_proj）のみをファインチューニングすることで、 効率的に推論LLMを構築 • 非推論LLMと推論LLMの統合 • 推論モジュールは以下から構成（全体の約10%程度） • 出力射影（o_proj）、LayerNorm、embed_tokens、lm_head • よって、対話/推論を切り替える運用が可能に • 垂直型（ドメイン特化）LLM • 同じベースモデルを基に、数学、法律、医療、科学技術などの推論モジュールを組合せ 効率的に特化型LLMを構築 • 深層ニューラルネットワーク理解への応用 • Stethoscope for Networks（SfN）を、 深層ニューラルネットワークの理解のための診断ツールとして利用 15

結論 o_projが推論の中心的役割を担い、置換可能性も示唆 • どのコンポーネントが推論能力の向上を担っているのかを明らかにする試みを行った • 出力射影（o_proj）モジュールが、推論能力の中心と推測 • Delta/Merge/Freeze/Destruction Stethoscopeによる解析を通じ、 o_proj は推論、その他は会話に重要であることを示唆 • 効率的なモジュール化されたLLMの学習への応用に期待 残課題： • アーキテクチャやタスクに関する横断的解析。 • 一部定性評価の統計的解析 • 出力射影が推論を担えるのかという理論的説明 16