---
title: 【DL輪読会】ReasonIF: Large Reasoning Models Fail to Follow Instructions During Reasoning
tags: 
author: [Deep Learning JP](https://www.docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/G7WG6453E2.jpg?width=480
description: 【DL輪読会】ReasonIF: Large Reasoning Models Fail to Follow Instructions During Reasoning by Deep Learning JP
published: July 09, 26
canonical: https://www.docswell.com/s/DeepLearning2023/Z9N9LL-2026-07-13-100539
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/G7WG6453E2.jpg)

ReasonIF: Large Reasoning Models Fail to Follow Instructions
During Reasoning
Yongchan Kwon, Shang Zhu, Federico Bianchi, Kaitlyn Zhou, James Zou (Together AI / Stanford University)
Matsuo-Iwasawa Laboratory, Hiroyuki Matsushima
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/4JZLY2NGE3.jpg)

論文概要
•
著者:Yongchan Kwon, Shang Zhu, Federico Bianchi, Kaitlyn Zhou, James Zou
–
Together AI / Stanford University。arXiv:2510.15211(2025年10月)
•
貢献①:reasoning trace内のIFを測る初の体系的ベンチマーク「ReasonIF」を提案
•
貢献②:responseとのIFギャップ・難易度との相関を発見し、改善策2種を検証
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/YE6WDV8QEV.jpg)

背景:Reasoning中の指示追従は未検証
•
LLMの指示追従(IF)は信頼性・安全性の基盤だが、既存評価は最終応答のみが対象
•
LRMのreasoning traceが指示に従うかは体系的に検証されてこなかった
•
reasoning中のIFは制御性・監査性を高め、reward hackingの抑制にも重要
Figure 1, Kwon et al.
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/GE5M3D92E4.jpg)

関連研究と本論文の位置づけ
•
IFEval [Zhou+ 2023]:verifiable instructionsによる自動IF評価を確立
•
数学・QA・多言語などへの拡張や、LLM-judgeを使う複雑なIF評価も発展
•
LRM研究はoverthinkingなどreasoning挙動の分析が中心で、IFは応答のみが対象
•
本論文:reasoning trace内のIFを初めて体系的に評価するベンチマークを提案
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/9729Z821JR.jpg)

提案①:ReasonIFベンチマーク
•
300問のベンチマーク。question + instruction のペアで構成
•
データソースはGSM8K・AMC・AIME・GPQA-Diamond・ARC-Challengeの5種
•
各ソースから約60問ずつ均等にサンプルし、数学・科学・常識推論をカバー
•
LRMが実際に使われる、多段推論が必要な難しめのタスクを重視した設計
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/DJY4R6Y47M.jpg)

提案②:6種類のverifiable instructions
•
全て機械的に検証可能な指示(下表)。前半3種は指示ごとにパラメータを持つ
•
例:Multilingualityは6言語からランダム、Word limitはモデル×データ毎に設定
Table 2, Kwon et al.
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/V7NYDZP6E8.jpg)

提案③:評価指標 IFS
•
指示ごとのbinary checkerで遵守を判定し、全サンプル平均をIFSと定義(0〜1)
•
Word limit:モデル×データセット毎に、無指示時出力の20パーセンタイルを上限に設定
•
言語判定のみfast-langdetectを使用、それ以外は文字列マッチ・正規表現で判定
Equation (1), Kwon et al.
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/YJ9PGZ3R73.jpg)

提案④:改善策の検討(Multi-turn / RIF)
• ① Multi-turn reasoning(self-reflection)
– reasoningが指示に違反していたらフィードバックを与え、もう一度回答させる
• ② Reasoning Instruction Finetuning(RIF)
– 指示に従うreasoning traceを合成データとして238件作成しSFT(GPT-OSS-20B)
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/GJ8DV1MGJD.jpg)

実験設定
•
6つのオープンLRMを評価(14Bから671Bまで)
–
GPT-OSS-20B / 120B・DeepSeek-R1(+Distill-Qwen-14B)・GLM-4.5-Air・Qwen3-235B-Thinking
•
closed-sourceモデルはAPIがreasoning traceを返さないため除外
•
指標はIFSと精度。RQ1:reasoningで従うか、RQ2:難易度、RQ3:multi-turn、RQ4:RIF
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/LJLM5Q3XER.jpg)

結果①:LRMはreasoning中に指示に従わない
•
reasoning IFSはresponse IFSより一貫して大幅に低い(平均 15.6% vs 57.3%)
•
最高のQwen3-235Bでもreasoning IFSは25.0%(response IFSは78.7%)
Figure 2, Kwon et al.
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/47MY31D37W.jpg)

結果②:指示タイプ別・データソース別の内訳
•
指示タイプ別(左):JSON formattingとUppercase onlyはほぼ全モデルでIFS 0
•
データソース別(右):全ての点がy=xの下、どのデータでもreasoning IFSが低い
Figure 3, Kwon et al.
Figure 4, Kwon et al.
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/P7R9QL4RE9.jpg)

結果③:難しいタスクほど指示に従わない
•
指示は全データソースで同分布 → IFSが難易度と無関係なら相関はゼロのはず
•
実際には精度とreasoning IFSに正の相関(平均0.784、最大0.863)
•
reasoning長を統制した偏相関でも正 → 長さでは説明できない(Remark 3)
Figure 5, Kwon et al.
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/PJXQ5W2Y7X.jpg)

結果④:改善策の効果は部分的
•
RQ3:multi-turnで平均+16.6%改善。ただし全モデル45%未満に留まる(左)
•
RQ4:RIFでIFS 0.11→0.27、ただし精度は0.77→0.73に低下(右)
•
追加SFTでWord limitも改善するが、精度が0.68まで低下(overfitting)
Figure 6, Kwon et al.
Figure 7, Kwon et al.
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/3JK96VM4JD.jpg)

考察・Limitations
•
原因仮説:RLVR訓練が最終解答の正しさのみを報酬にし、reasoningのIFが軽視される
•
指示は単一制約・検証容易なものに限定。ドメインも数理系中心
•
chat設定のみの評価で、agenticシステム内での影響は今後の課題
•
RIFは有望だが「解決策」ではない(著者ら自身のスタンス)
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/LE3W6MYDE5.jpg)

まとめ
•
ReasonIF:reasoning trace内のIFを測る初の体系的ベンチマーク(300問×6指示)
•
LRMはreasoning中に指示へほとんど従わない(最高でもIFS 0.25)
•
タスクが難しいほどIFSは低下し、multi-turn・RIFの緩和効果は部分的
15