---
title: 【論文サーベイ】Survey on Class-Incremental Learning (CIL)
tags: 
author: [tf63](https://www.docswell.com/user/8590143908)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/V7P2K2V378.jpg?width=480
description: 【論文サーベイ】Survey on Class-Incremental Learning (CIL) by tf63
published: January 13, 25
canonical: https://www.docswell.com/s/8590143908/KJ4E4M-2025-01-13-112134
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/V7P2K2V378.jpg)

Survey on Class-Incremental Learning
Deep Class-Incremental Learning: A Survey
Da-Wei Zhou, Qi-Wei Wang, Zhi-Hong Qi, Han-Jia Ye, De-Chuan Zhan, Ziwei Liu [arxiv’23]
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/2JVDVDZNJQ.jpg)

Background Continual Learning
段階的に新しいタスクを学習するタスク
学習はタスクごとに行い
それ以前のタスクのデータは使わない?
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/5EGYLY45EL.jpg)

Background Class-Incremental Learning (CIL)
鳥 or 犬
トラ or 金魚
猿 or 羊
2クラス分類
4クラス分類
6クラス分類
段階的に新しいタスク を学習するタスク
段階的に未知のクラスが現
学習はタスクごとに行い
れるタスク
それ以前のタスクのデータは使わない?
テストには観測された全てのデータを使う
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/4JQMYMGL7P.jpg)

Background Catastrophic Forgetting
CILを含めて Continual Learning では Catastrophic Forgetting が最大の課題となる
-
新しいタスクを学習すると，それ以前に学習したタスクを忘れてしまう現象
クラスを増やして学習すると
著しく精度が下がる
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/K74VWV55J1.jpg)

CILの研究分野
https://github.com/zhoudw-zdw/CIL_Survey/blob/main/resources/taxonomy_fig.png?raw=true
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/LJ13Y3W27G.jpg)

[Data-Centric CIL – Data Replay] GR
-
過去のタスクの学習データをGeneratorで再現することで忘却を防ぐ
-
学習データとGeneratorの生成データを合わせてGeneratorを学習，これを繰り返す
Continual Learning with Deep Generative Replay [H. Shin et al. NIPS2017]
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/GJWPGP6272.jpg)

[Data-Centric CIL – Data Regularization] GEM
-
各タスクごとにデータセットから episode memory というサブセットを保持する
-
過去のタスクの episode memory から損失の勾配を計算する
-
全てのタスクの勾配と現在のタスクの損失の勾配との内積が正になるように
制約をかける
-
(最近はあまり研究されていない)
Gradient Episodic Memory for Continual Learning [D. Lopez-Pazet al. NIPS2017]
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/4EZKLKY4E3.jpg)

[Data-Centric CIL] 課題
Data Replay
分類精度がGeneratorの生成品質の影響を受ける
-
-
Generatorの生成品質を上げると学習コストが大きくなるので扱いにくい
GeneratorにもCatastrophic Forgettingが起こるため不安定
-
Data Regularization
-
episode memoryの選び方によって精度に差が出る
-
プライバシーの問題から過去のデータを保持できないことがある
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/Y76QWQDG7V.jpg)

[Model-Centric CIL – Dynamic Networks] DEN
-
-
DNNはタスク固有の特徴を捉える傾向にある
-
クラスcarがタスクに含まれればタイヤや窓の特徴を捉える
-
クラスcatが追加されると髭や模様の特徴を捉えるように上書きされてしまう
ネットワークの構造を変えて表現力を上げたほうが良い
-
損失が閾値を超えたらネットワークの構造を変える
LIFELONG LEARNING WITH DYNAMICALLY EXPANDABLE NETWORKS [J. Yoon et al. ICLR2018]
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/G75RMR3XE4.jpg)

[Model-Centric CIL – Parameter Regularization] EWC
-
モデルの各パラメータの重要度を表すimportance matrix を定義する
-
重要なパラメータが変化しづらくなるような正則化項 を加える
パラメータkの重要度
タスクをまたいだ
パラメータの変化
Overcoming catastrophic forgetting in neural networks [J. Kirkpatrick et al. PNAS2017]
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/9J2D9DZQJR.jpg)

[Model-Centric CIL] 課題
Dynamic Networks
-
タスク向けにどのようにネットワークを変えればよいか決まっていない
-
メモリ使用量が大きくなる
Parameter Regularization
-
importance matrix はパラメータ数の分だけ大きくなるので，メモリ使用量が大きい
-
正規化項のせいで最適化がうまくいかなかったりする
-
あまり精度が出ない
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/DEY242RYEM.jpg)

[Algorithm-Centric CIL – Knowledge Distillation] LwF
-
k - 1番目のタスクを学習したモデルをold modelとして保持しておく
-
old modelの重みを凍結し，損失関数に制約項を加える
-
過去に登場したクラスについての予測がold / new modelで同じになるようにする
old model
softmax
new model
Learning without Forgetting [L. Li et al. ECCV2016]
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/VJN8Y8DR78.jpg)

[Algorithm-Centric CIL] 課題
Knowledge Distillation
-
dynamic networkに比べてcatastrophic forgettingに陥りやすい
-
メモリ使用量は小さめ
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/YE9KPKGZE3.jpg)

0クラスから5ずつ増やす
0クラスから10ずつ増やす
実験
CIFAR-100
parameter regulation
data-centric
data regulation
data replay
knowledge distillation
algorithm-centric
model rectify
model-centric
dynamic networks
パラメータ数
全タスクの
最終的な
平均精度
精度
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/GE8RDR8YJD.jpg)

実験
dynamic network系の手法は
精度劣化が小さい
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/LELKMKR9JR.jpg)

CILの既存研究
16


