[DL輪読会]An Adversarial Perturbation Oriented Domain AdaptationApproach for Semantic Segmentation

>100 Views

February 07, 20

スライド概要

2020/02/07
Deep Learning JP:
http://deeplearning.jp/seminar-2/

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

DEEP LEARNING JP [DL Papers] An Adversarial Perturbation Oriented Domain Adaptation Approach for Semantic Segmentation Yuting Lin, Kokusai Kogyo Co., Ltd.(国際航業) http://deeplearning.jp/ 1

2.

書籍情報 • 著者: – Jihan Yang, Ruijia Xu, Ruiyu Li, Xiaojuan Qi, Xiaoyong Shen, Guanbin Li, Liang Lin – このチームはUDAについて、ICCV2019 Best Paper Nominationsされた • AAAI2020に採択

3.

概要 • 目的: UDA(Unsupervised Domain Adaptation) for semantic segmentation • 提案手法のポイント Pointwise adversarial perturbationsで特徴マップを摂動する ClassifierとDiscriminatorにアタックすることで、性能を向上する

4.

既往研究 • Semantic segmentationにおけるUDA  GANの前には、Maximum Mean Discrepancy (MMD)などで距離をはかる  Feature/pixel-level adversarial alignmentが提案された(Hoffman et al., 2016)  ASNは、出力空間(output space)で適用することを提案(Tsai et al., 2018)  CycleGANを使ってpixel-levelでDA(Hoffman et al., 2017; Zhang et al., 2018) Hoffman et al., 2016 Tsai et al., 2018

5.

既往研究 • Adversarial Training  入力を摂動することで、モデルが誤認識する  摂動したデータを学習データにすることで、モデルのロバスト性を向上  Liu et al., 2019は、生成したサンプルでdomain gapを埋めることを提案し、画像分類 におけるUDAの性能を向上した Liu et al., 2019

6.

課題 • 従来のsemantic segmentationにおけるUDAの効果は、カテゴリーによる  Adversarial alignmentは、discriminatorでsource domainかtarget domainかを分類す ることで、DAを実現  この方法は、カテゴリーレベルに分類していないため、割合の多くを占めるカテゴリー (head category)に引っ張られ、tail categoryが課題になる

7.

提案手法の概要 • 特徴マップを摂動(アタック)することでDA • 具体的は  sourceとtargetサンプルの特徴マップを摂動する  摂動は、ClassifierとDiscriminatorへのアタックにより(loss勾配)生成する  Iterative Fast Gradient Sign Preposed Method (I-FGSPM)を提案し、摂動を動的に生成  特徴マップ全体に対する摂動のため、全てのカテゴリーをカバー。特に、tail categoryの性能も向 上できる  摂動サンプルがdomain gapを埋める  提案手法は、active learning/hard sample miningとも言える

8.

提案手法のフレームワーク • Step1: sourceのみでG&Fをpre-train(普通のsemantic segmentation) • Step2: 摂動(adversarial feature)をI-FGSPMにより生成 • Step3: adversarial featureで学習。Gを固定し、step2&3を繰り返す

9.

Generation of Adversarial Sample • 摂動は特徴マップへの外挿となり、domain-invariant特徴を特定できれば、Discriminator は判別できなくなる。 Ladvの勾配に従っていれば、特定できる • また、classifierのロバスト性の向上には、tail categoryの性能を向上する必要がある。 Lov´asz-Softmax (Berman et al., 2018) を用いてLsegの勾配を計算する • 摂動が変にならないように、摂動前後のL2距離で制約をかける。 • 3つLossの勾配をそのまま使用する場合(Liu et al., 2019)は、勾配消失課題がある • Iterative Fast Gradient Sign Method (I-FGSM) (Kurakin et al., 2016)は動的に摂動を生 成するが、タスク難易度が異なるため、loss間にギャップが生じる

10.

I-FGSPM • I-FGSMにより、sign関数を前置きすることで、loss間のギャップを解消する • ハイパラは増えたが。。。 • sourceとtargetに複数回適用する

11.

Training with Adversarial Features • targetは教師がないため、学習に制限をかける必要がある  ①摂動をかけた前後のtargetの出力は大きく変化しないこと  一方、Pt*は不確実性が高いため、他の制限も必要  entropy minimization techniqueを用いた自己教師あり学習(soft-assignment variant of the pseudo-label cross entropy loss)(Vu et al. 2019) • 全体Loss Step1: Step2: Step3:

12.

実験 • • • • • • Semantic segmentation手法: DeepLab-V2 Discriminator: DCGAN, w/o BatchNorm Classifier: ASPP(Atrous Spatial Pyramid Pooling) Network architecture: VGG16/ResNet101 Dataset: GTA5 → Cityscapes, SYNTHIA → Cityscapes ハイパラの設定:  k=3  ε1=0.01, ε2=0.002, ε3=0.011  α1=0.2, α2=0.002, α3=0.0005

13.

実験結果 • 既存SOTAより精度が高い • tail categoryの精度を向上 できた • 既存手法にtail categoryに 注目した改善法(weighted cross entropy/ Lov´aszSoftmax)だけを加えても効 果は確認できず

14.

実験結果

15.

Ablation Study • 摂動方法  FGSPMは、提案のI-FGSPMと同様だが、摂動は1回のみ  MI-FGSPMは、I-FGSMにmomentumを導入 • 摂動するレイヤ  深いほど、効果が大きくなる  activation of hidden units can be unbounded and very large • Component analysis  上段:摂動手法(I-FGSPM)、 Lov´asz-Softmax、 entropy minimizationに関する検証  下段:pre-train(step1)に関する検証

16.

まとめ • 動的に特徴マップをlossの勾配に従って摂動することでUDAを実現 • tail categoryの改善に向け、特徴マップに対する摂動・ Lov´asz-Softmax・ entropy minimizationを用いることで実現 • オリジナルな部分はI-FGSPMのみ(?)だが、他のパーツとうまく組み合わ せた • ハイパラの調整が大変そう • Gを固定して、D&Fを学習するため、Gが抽出できない特徴はどう扱うか?