【DL輪読会】Self-Adapting Language Models(SEAL)

Self-Adapting Language Models(SEAL) Ryohei Yasuda, IBM Systems Engineering 1

書誌情報 • Self-Adapting Language Model (2025) • 著者 – ZhengyanShi1,Adam X. Yang, Bin Wu, Laurence Aitchison, Emine Yilmaz, Aldo Lipani – Adam Zweiger, Jyothish Pari, Han Guo, Ekin Akyürek, Yoon Kim, Pulkit Agrawal • https://arxiv.org/pdf/2506.10943 2

• https://arxiv.org/pdf/2405.14394

この論文を選んだ理由 • モデルの自動学習・自己適応というテーマに関心があり、 継続的に性能を改善する枠組みに興味を持っていた。 • 過去に InstructLab を業務で扱った経験から、「人手に依らないモデル 改善」の方向性に問題意識があった。 • 本論文では、モデル自身が「どのように学習し直すと性能が向上する か」を強化学習により最適化しながら自己適応する枠組みを提案して おり、研究的にも実用的にも示唆が大きいと考えた。 3

論文概要 4

人間の学習とのアナロジー 5

研究背景と問題設定 6

関連研究1: Synthetic Data Generation Self-Instruct: Aligning Language Models with Self-Generated Instructions Yizhong Wang et al. ACL 2023（Self-Instruct） Better Synthetic Data by Retrieving and Transforming Existing Datasets Saumya Gandhi et al. Findings of ACL 2024（Better Synthetic Data） 7

関連研究2:Meta Learning Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks (MAML) Finn et al. ICML 2017（MAML） Learning Task-Specific Weight Modulation via Reinforcement Learning Sun et al. ICLR 2024（Sun et al., Hu et al.） 8

関連研究との違い 9

そもそも 10

提案手法の詳細 11

• https://arxiv.org/pdf/2405.14394

SEALの構造 12

ReSTEM: self editポリシーの最適化 13

実験①：知識組み込み 14

• https://arxiv.org/pdf/2405.14394

実験設定 15

Self-editの例 16

実験結果 17

継続事前学習結果 18

実験②：Few Shot 学習 19

• https://arxiv.org/pdf/2405.14394

実験設定 20

実験結果 21

限界と課題 22