論文紹介：継続学習と破滅的忘却の理論

Memory-Statistics Tradeoff in Continual Learning with Structural Regularization [Li+, ICLR2026] Online Curvature-Aware Replay: 𝑛 Leveraging 𝟐 𝑑 Order Information for Online Continual Learning [Urettine+, ICML2025] PLATE: Plasticity-Tunable Efficient Adapters for Geometry-Aware Continual Learning [Cosentino, arXiv2026] 髙間勇作（名工大玉木・丁研） 2026/9/24

• https://openreview.net/forum?id=qfEqXJnlB4
• https://proceedings.mlr.press/v267/urettini25a.html
• https://arxiv.org/abs/2602.03846

破滅的忘却 ◼ 継続学習（ Continual Learning; CL） • 複数タスクを逐次的に学習 • 学習が終わった過去のタスクの学習データにはアクセスできない設定が多い • 増えたタスクの予測をするだけでなく，過去のタスクも予測し続ける ◼ 破滅的忘却（ Catastrophic Forgetting; CF） • 新タスク学習時に過去タスクの性能が急激に低下する現象 • 新タスクの適応と，過去タスクの保持を両立することが課題 La-MAML [Gupta+, NeurIPS2020] blog [Laborieux+, NatureCommunications, 2021]

• https://proceedings.neurips.cc/paper_files/paper/2020/hash/85b9a5ac91cd629bd3afe396ec07270a-Abstract.html
• https://mila.quebec/en/article/la-maml-look-ahead-meta-learning-for-continual-learning
• https://www.nature.com/articles/s41467-021-22768-y

忘却をどう表すか ◼ 一般的な評価：精度低下 • 旧タスクの Accuracyが新タスクの学習でどれだけ低下したか • 画像分類では，過去に達成した正解率と現在の正解率の差など ◼ 理論論文：損失増加を扱う場合がある • Accuracyは性能を直接表すが，微分ができず解析に使いにくい • 旧タスク損失が新タスク学習でどれだけ増加したかを扱う loss ℱ𝑖,𝑡 = 𝐿𝑖 𝜃𝑡 − 𝐿𝑖 𝜃𝑡−1 𝑖：評価する旧タスク 𝑡：学習する新タスク 𝜃𝑡−1 ：新タスク学習前のパラメータ 𝜃𝑡 ：新タスク学習後のパラメータ

Taylor展開で忘却を分解 ◼ Task 𝑡 学習前の点 𝜃𝑡−1 の周りで，旧 Task 𝑖 の損失 𝐿𝑖 を Taylor展開 Δ𝑡 = 𝜃𝑡 − 𝜃𝑡−1 ： Task 𝑡 の更新 𝐿𝑖 𝜃𝑡 1 ⊤ ⊤ ≈ 𝐿𝑖 𝜃𝑡−1 + 𝑔𝑖 𝛥𝑡 + 𝛥𝑡 𝐻𝑖 𝛥𝑡 2 学習前の点での旧Task 𝑖 の勾配 • 忘却の式に変形 学習前の点での旧Task 𝑖 のヘッセ行列 1 ⊤ loss ⊤ ℱ𝑖,𝑡 ≈ 𝑔𝑖 Δ𝑡 + Δ𝑡 𝐻𝑖 Δ𝑡 2 • 一次項：旧 Task 𝑖 の現在の傾きと，新 Taskの更新方向の関係 • 二次項：旧 Task 𝑖 の曲率を通して，その方向へ動くと損失が 増えやすいか

Taylor展開で忘却を分解 ◼ 忘却の式 1 ⊤ loss ⊤ ℱ𝑖,𝑡 ≈ 𝑔𝑖 Δ𝑡 + Δ𝑡 𝐻𝑖 Δ𝑡 2 • 一次項：旧 Task 𝑖 の現在の傾きと，新 Taskの更新方向の関係 • 二次項：旧 Task 𝑖 の曲率を通して，その方向へ動くと損失が 増えやすいか

本発表の概要 ◼ 新タスク更新のどこを制御するか • Li+ • 過去タスクで重要だった方向を記憶 • その方向へ動きすぎないよう，目的関数に方向依存の正則化を加える • OCAR • リプレイ用データから，予測分布がどの方向に変化しやすいかを表す局所的 な尺度を推定 • その尺度を使って，勾配を方向ごとに補正 • PLATE • 事前学習済み重みの幾何構造から，更新を許す部分空間を構成 • 新タスク学習をその空間内へ制限

Memory-Statistics Tradeoff in Continual Learning with Structural Regularization [Li+, ICLR2026]

• https://openreview.net/forum?id=qfEqXJnlB4

背景： 構造的正則化とは ◼ 継続学習では， Task 1の全データをそのまま Task 2へ持ち越せない • 最も単純には Task 1で得たパラメータ 𝑤 1 だけを引き継ぐ • それだけでは Task 1にとって重要だった方向 は不明 ◼ 構造的正則化 • Task 1で重要だったパラメータ方向の情報を保存 • Task 2では，その重要方向へ動きすぎないように罰則を加える • 例： EWC [Kirkpatric+, PNAS2017] ◼ この論文が問題にすること • 重要方向を詳しく保存すれば忘却を抑えやすい一方，必要なメモリは 増加 • 既存理論では正則化手法ごとのメモリ量がほぼ固定されており，どれだけ記憶 すれば，どこまで性能を保てるかは明示的に整理 されていない

• https://www.pnas.org/doi/10.1073/pnas.1611835114

問題設定 ◼ 2つの線形回帰タスクを順番に学習する • Task 1， Task 2それぞれで 𝑛 個の学習データを観測 • 𝑋 𝑡 , 𝑦 𝑡 ： Task 𝑡 の入力と 目的変数 • Task 1を学習した後， Task 1から保持した限られた情報を使って • Task間では入力分布が異なるが，線形予測規則は共通 Task 2を学習

従来法の限界 ◼ ordinary CL（ OCL）： Task 1の解だけを引き継ぐ • Task 1終了時の 𝑤 1 だけを Task 2へ渡す ◼ 一様な ℓ2 正則化：全方向を同じ強さで保護する • Task 1の解から離れすぎないように，スカラー 𝑤2 𝛾 で正則化 1 2 2 2 = 𝑎𝑟𝑔 𝑚𝑖𝑛 𝑦 −𝑋 𝑤 2+𝛾 𝑤−𝑤 1 𝑤 𝑛 2 2 ◼ 問題点 • 守るべき方向と，動かしてよい方向を区別できない． • Joint Learning なら十分小さいリスクを達成できるにもかかわらず， な ℓ2 正則化では忘却が残る • Joint Learningは両タスクのデータを同時に使える比較基準 • Task 1の方向ごとの重要度を区別できる正則化が必要 OCLや一様

構造的正則化： GRCL ◼ 方向ごとの重要度を行列 Σ で表す • Generalized ℓ2 -Regularized Continual Learning（ GRCL） • Task 1終了時の 𝑤 1 に加えて，半正定値行列 Σ を次の学習へ引き継ぐ 𝑤 2 1 2 2 2 = arg min 𝑦 −𝑋 𝑤 2+ 𝑤−𝑤 1 𝑤 𝑛 2 1 𝑤−𝑤 Σ = 𝑤−𝑤 1 ⊤ 2 Σ Σ 𝑤−𝑤 1 Σ ⪰ 0：方向ごとの保護強度を表す行列 ◼ 数式の意味 • Σ の固有値が大きい方向ほど，その方向への移動に大きな罰則がかかる • Σ → 0 なら ordinary CL， Σ = 𝛾𝐼 なら一様な ℓ2 正則化

Σ の設計 ◼ Task 1から何を計算するか • Task 1の学習データから経験共分散行列を計算 1 1⊤ 1 𝐺෠1 = 𝑋 𝑋 𝑛 ◼ どの方向を残すか • 𝐺෠1 を固有分解し，固有値の大きい方向から並べる 𝐺෠1 𝑞ƶ 𝑖 = 𝜇ƶ 𝑖 𝑞ƶ 𝑖 , 𝜇ƶ 1 ≥ 𝜇ƶ 2 ≥ ⋯ 𝑞ƶ 𝑖 ： Task 1データの主要な方向 𝜇ƶ 𝑖 ：その方向の大きさ ◼ なぜこの方向を守るのか • 線形回帰設定では共分散の主要固有方向は， Task 1損失の高曲率方向に対応 • 経験共分散の上位 k 方向だけを残した rank-k近似を正則化行列として 使用 𝑘 Σ𝑘 = ෍ 𝜇ƶ 𝑖 𝑞ƶ 𝑖 𝑞ƶ 𝑖⊤ 𝑖=1

記憶する方向数 k ◼ 𝑘： Task 1の重要方向を何本記憶するか 𝑘 Σ𝑘 = ෍ 𝜇ƶ 𝑖 𝑞ƶ 𝑖 𝑞ƶ 𝑖⊤ 𝑖=1 • 𝑘 がメモリ複雑度 を表す • 𝑘 が小さい場合 • 保存する情報は少ないが， Task 1で本来守るべき方向を取りこぼす可能性 • 𝑘を増やすと • より多くの Task 1重要方向を保護できる一方，保存する情報量は 増加 ◼ 評価 Δ 𝑤 = 𝑅1 𝑤 + 𝑅2 𝑤 − min 𝑅1 𝑢 + 𝑅2 𝑢 𝑢 • excess risk ＝ 2タスクの損失の和 ー 理想的な最小値

実験結果 ◼ 標本数を変更 ◼ 𝑘を変更 • Ordinary CLは標本数を増やしても 一定のexcess risk • GRCLは 𝑘 を増やすと改善 • 𝑘 を増やすと GRCLの excess risk が 低下し， Joint Learningへ近づく ※Joint Learning（ JL） は両タスクのデータを同時に使える比較基準

Online Curvature-Aware 𝑛 Replay: Leveraging 𝟐 𝑑 Order Information for Online Continual Learning [Urettine+, ICML2025]

• https://proceedings.mlr.press/v267/urettini25a.html

背景： Online Continual Learning ◼ Online Continual Learning（ OCL） • 非定常なデータストリームから，小さなミニバッチを逐次受け取りながら学 • タスク ID・タスク境界・タスク長は学習器に与えられない ◼ OCLの特徴 • 学習途中の任意時点で推論できる必要があるため， 定させる必要 • 各Taskの最終性能だけでは不十分 • 同時に，新しく到着したデータへ素早く適応する必要 ◼ 従来の中心手法： Experience Replay（ ER） stream全体で過去性能を安 [Chaudhry+, arXiv2019] • 少量の過去データを bufferへ保存し，新規データと一緒に学習 • 問題点 • 分布変化の直後に過去性能が急落する

• https://arxiv.org/abs/1902.10486

問題設定： Experience Replay ◼ 各online stepで2種類のデータを使う • 𝑁𝑡 ：時刻 𝑡 に新しく到着したミニバッチ • 𝐵𝑡 ： Replay bufferから取り出した過去データ • この OCAR節では 𝑡 はタスク番号ではなく online update stepを表す． ◼ Experience Replayの基本更新 • 更新量を 𝛿𝑡 = 𝑤𝑡 − 𝑤𝑡−1 とし，新規データと過去データの勾配を合わせて更新 𝛿𝑡ER = −𝜂 𝑔𝑁𝑡 + 𝑔𝐵𝑡 𝑔𝑁𝑡 ：新規バッチ上の勾配 𝑔𝐵𝑡 ： Replayバッチ上の勾配 𝜂：すべての方向に共通する step size

Replayの限界 ◼ 分布が切り替わった直後 • 直前まで旧分布を十分学習していると， Replayデータ上では局所最適点に近 く， 𝑔𝐵𝑡 ≈ 0 になり得る • 一方，新規データでは大きな勾配が生じ， 𝑔𝑁𝑡 ≫ 𝑔𝐵𝑡 となる • 問題点 • 一次勾配だけでは， 過去予測へ大きく影響する方向を検出して抑えられない →二次情報を使う

OCAR：二次情報で勾配を補正 過去予測を守る制約の強さ 𝛿𝑡∗ = −𝛼 𝐹𝑁𝑡 + 行列反転を安定化し，極端な方向別加速を抑える係数 1 + 𝜆OCAR 𝐹𝐵𝑡 + 𝜏OCAR 𝐼 −1 𝑔𝑁𝑡 + 𝑔𝐵𝑡 更新全体のstep size 新規バッチ 𝑁𝑡 から推定する Fisher Replayバッチ 𝐵𝑡 から推定する Fisher ◼ 数式の意味 • Replayで「過去データを見る」だけでなく， ごとのスケールを変え て更新 • ※実装ではFull Fisherを K-FACで近似 Fisher (二次情報) に基づいて方向

実験結果 ◼ 従来手法（ ER）との比較 • データセット • Split MNIST • 5 taskを順番に学習 • 学習中のパラメータ軌跡を 2次 元の損失地形上に投影 ◼ 結果 • ERは， タスク切替直後に軌跡 が最適経路から大きく 外れる • OCARは，滑らかな軌跡を取 り，少ない stepで最適化 • 最終的な平均Accuracyも OCAR 0.84 > ER 0.75

PLATE: Plasticity-Tunable Efficient Adapters for Geometry-Aware Continual Learning [Cosentino, arXiv2026]

• https://arxiv.org/abs/2602.03846

背景： LoRAでも忘却は残る ◼ 大規模な事前学習済みモデルを，新しいタスクへ低コストで適応 • Full fine-tuningは全パラメータを更新するため計算コストが大き • 事前学習時の能力の忘却も起きやすい い ◼ LoRA [Hu+, ICLR2022] Δ𝑊LoRA = 𝐵LoRA 𝐴LoRA • 事前学習済み重み 𝑊 は固定し，低ランクな追加更新だけを学習 ◼ 問題点 • 少数のパラメータ学習 でも ，更新方向が事前学習時の重要 な部分に 干渉すれ ば， 忘却は発生 • 大規模な事前学習モデルでは pretraining dataへ再アクセスできない場合が多 い．

• https://openreview.net/forum?id=nZeVKeeFYf9

問題設定 ◼ 2つのタスクを順番に学習する • 𝑃0 ：旧タスクのデータ分布 • 𝑃1 ：新タスクのデータ分布 • 𝑃0 で学習したモデルを，新タスク 𝑃1 だけを使って更新する． ◼ 学習前後のパラメータ 𝜃1 = 𝜃0 + Δ𝜃 𝜃0 ：新タスク適応前の事前学習済み 𝜃1 ：新タスク適応後のパラメータ パラメータ ◼ 重要な制約 • 新タスク 𝑃1 は使えるが，旧タスク分布 𝑃0 にはアクセスできない • 旧データ上の勾配・ ヘッセ行列など を直接計算して保護方向を決め られない • 目標 ： 新タスクへ適応しながら， 𝑃0 上で獲得した機能をできるだけ維持

旧データなしで安全な方向を探す ◼ 旧データから安全な方向を直接調べられない • 旧タスクにとって重要な方向への更新は，忘却を起こしやすい • PLATEでは旧データがないため，旧タスクの曲率や重要方向を直接計算 不可 ◼ 事前学習済み重みの幾何を使用 • 各層の重み行 𝑤𝑖⊤ は，それぞれ 1つの出力チャネルに対応 • 事前学習済み重みには，互いに近い方向を向く重み行が多数存在 • この重み方向の重複・冗長性を，事前学習時に重要だった特徴方向を推定す る手掛かりとして利用 ◼ PLATEの考え • 出力側：似た重み方向を持つ出力チャネルを選び，新タスク更新をそこへ集中 • 入力側：残りの重みがあまり使っていない低エネルギー方向へ更新を制限 ※事前学習済み重みの幾何は旧タスク Hessianそのものではなく，旧データなしで安全な更新方 向を推定するための もの

PLATE ◼ 入力側と出力側の制約を 1つのadapterへ組み込む • 𝐵 と 𝑄 は事前学習済み重みから一度だけ計算し，学習中は固定 𝑊′ = 𝑊 + 𝜌PLATE 𝐵𝐴𝑄⊤ 𝐵 ∈ ℝ𝑑out×𝑟 ：冗長な出力チャネルを選ぶ固定行列 𝑄 ∈ ℝ𝑑in ×𝑘 ：低エネルギー入力部分空間を張る固定基底 𝐴 ∈ ℝ𝑟×𝑘 ：新タスクで実際に学習する行列 𝜌PLATE ： PLATEアダプタの更新倍率 ◼ 通常LoRAとの違い • LoRA：低ランク化によって学習パラメータ数を減らす • PLATE： 𝐵, 𝑄 でどの出力チャネル・どの入力方向を更新可能にするかを 固定し， 𝐴 だけを学習 事前に

B,Qの設計 • 各層の事前学習済み重み 𝑊 ∈ ℝ𝑑out ×𝑑in を 使用 • 各行 𝑤𝑖⊤ は1つの出力ニューロンに対応 ◼ 𝐵：更新する出力 行を選ぶ • 行をランダム射影し，他の 行との類似度 scoreを計算 𝑤𝑖⊤ 𝑅 1 𝑧𝑖 = , 𝑠𝑖 = ෍ 𝑧𝑖 , 𝑧𝑗 𝑤𝑖 2 𝒜 𝑗∈𝒜 • score上位 𝑟 個を選び，行列 𝐵 を作る ◼ 𝑄：更新してよい入力方向を選ぶ 𝑅：ランダム射影行列 𝒜： anchor 行集合 𝑠𝑖 ： 大きいほど他の 行と似た冗長なニューロンとみなす • 𝐵 で選ばなかった 行を 𝑊frozen とし，その Gram行列を固有分解 ⊤ 𝐺in = 𝑊frozen 𝑊frozen = 𝑈Λ𝑈 ⊤ • 固有値の小さい側の 𝑘 本を選び，行列 𝑄 を作る

実験結果 • Base model： Qwen2.5-7B • 新タスク： AM-DeepSeek-R1 distilled reasoning corpusで1 epoch微調整 • 左：新タスクの推論能力をどれだけ持っているか • PLATEも LoRAとほぼ同程度に新しい推論能力を学習 • 右：事前学習済み重みの能力をどれだけ持っているか • 新タスクを学習しても， PLATEは既存能力をより保持

まとめ ◼ 共通する問題 • 新しいデータを学習するパラメータ更新が，過去タスクの損失や予測を変化さ せることで忘却が生じる． ◼ 共通導入で見たこと • 損失変化は，局所的には更新方向と勾配・曲率の関係として考えられる． • したがって，更新量だけでなく，どの方向・どの空間へ更新するかが重要にな る． ◼ 3論文 • Li et al.：線形回帰＋二乗損失で曲率に対応する重要方向を記憶，正則化で保護 • OCAR： KL変化から得る Fisherを局所尺度として使い， Replay勾配を方向ごと に補正 • PLATE：旧 Hessianを直接使わず，事前学習済み重みの幾何から更新可能な部 分空間を 作成