[DL輪読会]representation learning via invariant causal mechanisms

DEEP LEARNING JP Representation Learning via Invariant Causal Mechanisms [DL Papers] XIN ZHANG, Matsuo Lab http://deeplearning.jp/

• http://deeplearning.jp/

書誌情報 ● Representation Learning via Invariant Causal Mechanisms ● 著者：Jovana Mitrovic, Brian McWilliams, Jacob Walker, Lars Buesing, Charles Blundell ● 研究機関：DeepMind, Oct 2020(Arxiv) ● 概要 ○ Contrastive Learning（CL）が上手くいっている理由を因果論で解釈する論文 ○ データ拡張に注目して、画像のStyleがdowntasksに影響しないため（仮説のもとで）、 事前学習のTaskにおいても影響しないようにすれば良い ○ CLのLoss関数に、Styleによる影響を抑える制限を加える ○ 学習した表現の良さは､Baselineと同等だが、ロバスト性や汎化性が優れている 2

• https://arxiv.org/pdf/2010.07922.pdf

Introduction：Representation Learning

Representation Learning via Invariant Causal Mechanisms

• https://github.com/google-research/simclr

Representation Learning via Invariant Causal Mechanisms Target Network BYOL

• https://arxiv.org/pdf/2006.07733.pdf

Reprensentation(Self-supervised) learningはMIだけでは解釈でき ない [DL輪読会]相互情報量最大化による表現学習、岩澤先生より

• https://www.slideshare.net/DeepLearningJP2016/dl-171350996/1

Representation Learning via Invariant Causal Mechanisms Alignment and Uniformity on the Hypersphere

• https://arxiv.org/pdf/2005.10242.pdf

Proposed method：RELIC

Representation Learning via Invariant Causal Mechanisms Assumptions: 1. 画像(X)はコンテンツ(C)とスタイル(S)から生 成される 2. Cのみが下流タスク(Y_1...)に影響する 3. CとSはお互いに独立 議論：仮説に異論はあるかもだが、(自分は)納得 できる

Representation Learning via Invariant Causal Mechanisms 事前学習のタスク(Y^R)で表現f(X)を学習する。 Y^RはInstance Classification(入力画像と他の画像 と区別する)。 理論上：Instance Classificationは最も難しいタス クであり、これさえできれば、下流のどんなタス クに対しても解けるはず。（証明付き） 自分の理解：個々の分類よりも細かい分類がない

Representation Learning via Invariant Causal Mechanisms Y^Rでf(X)で事前学習する際に、Sの変化による影 響を無くすように制限をかける。

Relationship between RELIC and other methods.

EXPERIMENTS

Linear evalution：線形分類のしやすさで表現の良さを評価 Fischer’s linear discriminant ratio(Friedman et al., 2009) 大きければ大きいほど、線形分離しやすい。 SimCLRより良いことがわかる。

• https://web.stanford.edu/~hastie/Papers/ESLII.pdf

Linear evalution：ImageNetで線形評価を行う（スタンダード） ２種類のArchitectureで、それぞれSOTAと同等程度な精度 - ただし、InfoMin AugとSwAVはより強力データ拡張を使 った。（5%ほど精度上げられるもの） 議論：より強力データ拡張を使った結果は気になる

Robustness and Generalization ImageNet-R：ImageNetの画像を拡張したデータセット。 Top-1 Error%がSimCLRより低く、Supervisedより高い。

Robustness and Generalization ImageNet-C：ImageNetの画像に異なる程度な異なるノイズを 加えたデータセット。 複数のError率では、SimCLRとBYOLより低い（良い）。

Reinforcement Learning R2D2の入力画像に対する拡張で精度を比較。 （R2D2：RNN+DQN+Tricksで大幅当時のSOTAを超えた。） 感想：RLは普段しない実験で新鮮。CURLよりも良かった。

Conclusion

Related Work ContentがStyleに影響する！を仮定する A causal view of compositional zero-shot recognition(NIPS 2020) Self-Supervised Learning with Data Augmentations Provably Isolates Content from Style(Jun 2021)

• https://arxiv.org/pdf/2006.14610.pdf
• https://arxiv.org/pdf/2106.04619.pdf

まとめ： - Self-supervised learning(Contrastive Learning)を因果の枠組みで解釈してみた研究。 - 特徴は、RELIC Lossが必要であることをを因果論？の数式で証明した(Appendixを参考)。 感想： - Contrastive Learningの新しい手法がどんどん提案されているに対して、その理論解析の研究が少な い(追いついていない)。 - 実装公開してほしい。