【DL輪読会】ReasonIF: Large Reasoning Models Fail to Follow Instructions During Reasoning

ReasonIF: Large Reasoning Models Fail to Follow Instructions During Reasoning Yongchan Kwon, Shang Zhu, Federico Bianchi, Kaitlyn Zhou, James Zou (Together AI / Stanford University) Matsuo-Iwasawa Laboratory, Hiroyuki Matsushima 1

論文概要 • 著者:Yongchan Kwon, Shang Zhu, Federico Bianchi, Kaitlyn Zhou, James Zou – Together AI / Stanford University。arXiv:2510.15211(2025年10月) • 貢献①:reasoning trace内のIFを測る初の体系的ベンチマーク「ReasonIF」を提案 • 貢献②:responseとのIFギャップ・難易度との相関を発見し、改善策2種を検証 2

背景:Reasoning中の指示追従は未検証 • LLMの指示追従(IF)は信頼性・安全性の基盤だが、既存評価は最終応答のみが対象 • LRMのreasoning traceが指示に従うかは体系的に検証されてこなかった • reasoning中のIFは制御性・監査性を高め、reward hackingの抑制にも重要 Figure 1, Kwon et al. 3

関連研究と本論文の位置づけ • IFEval [Zhou+ 2023]:verifiable instructionsによる自動IF評価を確立 • 数学・QA・多言語などへの拡張や、LLM-judgeを使う複雑なIF評価も発展 • LRM研究はoverthinkingなどreasoning挙動の分析が中心で、IFは応答のみが対象 • 本論文:reasoning trace内のIFを初めて体系的に評価するベンチマークを提案 4

提案①:ReasonIFベンチマーク • 300問のベンチマーク。question + instruction のペアで構成 • データソースはGSM8K・AMC・AIME・GPQA-Diamond・ARC-Challengeの5種 • 各ソースから約60問ずつ均等にサンプルし、数学・科学・常識推論をカバー • LRMが実際に使われる、多段推論が必要な難しめのタスクを重視した設計 5

提案②:6種類のverifiable instructions • 全て機械的に検証可能な指示(下表)。前半3種は指示ごとにパラメータを持つ • 例:Multilingualityは6言語からランダム、Word limitはモデル×データ毎に設定 Table 2, Kwon et al. 6

提案③:評価指標 IFS • 指示ごとのbinary checkerで遵守を判定し、全サンプル平均をIFSと定義(0〜1) • Word limit:モデル×データセット毎に、無指示時出力の20パーセンタイルを上限に設定 • 言語判定のみfast-langdetectを使用、それ以外は文字列マッチ・正規表現で判定 Equation (1), Kwon et al. 7

提案④:改善策の検討(Multi-turn / RIF) • ① Multi-turn reasoning(self-reflection) – reasoningが指示に違反していたらフィードバックを与え、もう一度回答させる • ② Reasoning Instruction Finetuning(RIF) – 指示に従うreasoning traceを合成データとして238件作成しSFT(GPT-OSS-20B) 8

実験設定 • 6つのオープンLRMを評価(14Bから671Bまで) – GPT-OSS-20B / 120B・DeepSeek-R1(+Distill-Qwen-14B)・GLM-4.5-Air・Qwen3-235B-Thinking • closed-sourceモデルはAPIがreasoning traceを返さないため除外 • 指標はIFSと精度。RQ1:reasoningで従うか、RQ2:難易度、RQ3:multi-turn、RQ4:RIF 9

結果①:LRMはreasoning中に指示に従わない • reasoning IFSはresponse IFSより一貫して大幅に低い(平均 15.6% vs 57.3%) • 最高のQwen3-235Bでもreasoning IFSは25.0%(response IFSは78.7%) Figure 2, Kwon et al. 10

結果②:指示タイプ別・データソース別の内訳 • 指示タイプ別(左):JSON formattingとUppercase onlyはほぼ全モデルでIFS 0 • データソース別(右):全ての点がy=xの下、どのデータでもreasoning IFSが低い Figure 3, Kwon et al. Figure 4, Kwon et al. 11

結果③:難しいタスクほど指示に従わない • 指示は全データソースで同分布 → IFSが難易度と無関係なら相関はゼロのはず • 実際には精度とreasoning IFSに正の相関(平均0.784、最大0.863) • reasoning長を統制した偏相関でも正 → 長さでは説明できない(Remark 3) Figure 5, Kwon et al. 12

結果④:改善策の効果は部分的 • RQ3:multi-turnで平均+16.6%改善。ただし全モデル45%未満に留まる(左) • RQ4:RIFでIFS 0.11→0.27、ただし精度は0.77→0.73に低下(右) • 追加SFTでWord limitも改善するが、精度が0.68まで低下(overfitting) Figure 6, Kwon et al. Figure 7, Kwon et al. 13

考察・Limitations • 原因仮説:RLVR訓練が最終解答の正しさのみを報酬にし、reasoningのIFが軽視される • 指示は単一制約・検証容易なものに限定。ドメインも数理系中心 • chat設定のみの評価で、agenticシステム内での影響は今後の課題 • RIFは有望だが「解決策」ではない(著者ら自身のスタンス) 14

まとめ • ReasonIF:reasoning trace内のIFを測る初の体系的ベンチマーク(300問×6指示) • LRMはreasoning中に指示へほとんど従わない(最高でもIFS 0.25) • タスクが難しいほどIFSは低下し、multi-turn・RIFの緩和効果は部分的 15