---
title: [DL輪読会]"Dynamical Isometry and a Mean Field Theory of CNNs: How to Train 10,000-Layer Vanilla Convolutional Neural Networks"
tags:  #deep learning  
author: [Deep Learning JP](https://www.docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/4JMVLVX3JW.jpg?width=480
description: 2018/08/24 Deep Learning JP:  http://deeplearning.jp/seminar-2/
published: August 24, 18
canonical: https://www.docswell.com/s/DeepLearning2023/KQ8L4R-dldynamical-isometry-and-a-mean-field-theory-of-cnns-how-to-train-10000layer-vanilla-convolutional-neural-networks
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/4JMVLVX3JW.jpg)

1
DEEP LEARNING JP
[DL Papers]
“Dynamical Isometry and a Mean Field Theory of CNNs:
How to Train 10,000-Layer Vanilla” (ICML2018)
Kensuke Wakasugi, Panasonic Corporation.
http://deeplearning.jp/


# Page. 2

![Page Image](https://bcdn.docswell.com/page/PJR2K2NRE9.jpg)

書誌情報
2
タイトル：
Dynamical Isometry and a Mean Field Theory of CNNs:
How to Train 10,000-Layer Vanilla Convolutional Neural Networks
(ICML2018, Oral)
著者：
Lechao Xiao, Yasaman Bahri, Jascha Sohl-Dickstein,
Samuel S. Schoenholz, Jeffrey Pennington
所属：
Google Brain, Work done as part of the Google AI Residency program
ICML(2018)： https://icml.cc/Conferences/2018/Schedule?showEvent=2730
Arxiv：https://arxiv.org/abs/1806.05393
Wakasugi, Panasonic Corp.


# Page. 3

![Page Image](https://bcdn.docswell.com/page/PEXDLDNY7X.jpg)

概要
3
10000層のCNNの学習が可能に
• 10000層のCNNの学習を可能にした．
skip connectionやBM，学習率減衰などを使わずに．
• 平均場理論を用いて，第∞層の共分散を導出．
• 重みの初期分散に応じて無限極限での消失or発散が決まる
→適切な重みを設定することで，深いNNが学習可能
[Xiao et al., 2018]
Wakasugi, Panasonic Corp.


# Page. 4

![Page Image](https://bcdn.docswell.com/page/3EKXLXN47D.jpg)

背景
4
性能向上のために深いNNを学習したい
高い
表現能力
•
deep neural
network
高い
汎化性能
学習可能
•
•
•
学習率の設計
Skip Connection
Batch
Normalization
•
flat
minima
この論文はここに着目
深いNNを如何にして学習させるか？
Wakasugi, Panasonic Corp.


# Page. 5

![Page Image](https://bcdn.docswell.com/page/L73535VDE5.jpg)

関連研究
5
• Poole et al. (NIPS2016)
→深層ネットの表現能力の推定
https://papers.nips.cc/paper/6322-exponential-expressivity-in-deep-neural-networksthrough-transient-chaos
• Schoenholz et al. (ICLR2017)
→ランダムネットワークにおける層の深さの限界を推定
https://openreview.net/forum?id=H1W1UN9gg
• Pennington et al. (NISP2017)
→深層学習における等長性について理論解析
http://papers.nips.cc/paper/7064-resurrecting-the-sigmoid-in-deep-learning-throughdynamical-isometry-theory-and-practice
Wakasugi, Panasonic Corp.


# Page. 6

![Page Image](https://bcdn.docswell.com/page/87DD4D827G.jpg)

この後の流れ
6
• 理論解析
 データの相関が第L層まで伝達するかを推定
 第∞層まで伝達する初期パラメータを導出
• 実験
 上記初期パラメータで学習を実施．
 早く安定な学習を実現．
 10000層のCNNで学習．
Wakasugi, Panasonic Corp.


# Page. 7

![Page Image](https://bcdn.docswell.com/page/VJPXMX8L78.jpg)

CNNのForward Propagation
preactivation（h）の漸化式
ℎ𝑙
→
共分散の漸化式
ℎ𝑙+1
𝑤 𝑙+1
𝛽
𝛼
𝑖
𝑗
𝑖
7
𝛼
𝑗
𝑏は省略
Wakasugi, Panasonic Corp.


# Page. 8

![Page Image](https://bcdn.docswell.com/page/2EVL9LN6JQ.jpg)

CNNのForward Propagation
preactivation（h）の漸化式
→
8
共分散の漸化式
ここで𝜔~𝑁 0, 𝜎𝜔 /𝑐(2𝑘 + 1) , 𝑏~𝑁(0, 𝜎𝑏 )とおいて，中心極限定理を適用
→ℎ𝑗𝑙+1 (𝛼)が平均0のガウス分布に従うので，分散共分散に着目
𝑙+1
𝑙+1
∑𝑙+1
=
𝐸[ℎ
𝛼
ℎ
𝛼′ ]とおくと
′
𝑗
𝑗
𝛼,𝛼
Wakasugi, Panasonic Corp.


# Page. 9

![Page Image](https://bcdn.docswell.com/page/57GXZXK2EL.jpg)

CNNのForward Propagation
9
略記すると以下のようになる
Wakasugi, Panasonic Corp.


# Page. 10

![Page Image](https://bcdn.docswell.com/page/4EQ8L8N9JP.jpg)

第𝑙層の共分散とその収束点
共分散の漸化式
→
10
共分散の収束点を導出
収束した場合を考えると下記のようになる．
対角成分と非対角成分に分かれる→実質的に𝑞∗ と𝑐 ∗ の２つの変数で議論できる
𝑞∗ と𝑐 ∗ は初期分散𝜎𝜔 ，𝜎𝑏 の関数となるので，𝜎𝜔 ，𝜎𝑏 の値に応じて収束点が
決まる
𝑞 ∗ と𝑐 ∗ の収束点，安定性および収束までに必要な層数を推定できる
Wakasugi, Panasonic Corp.


# Page. 11

![Page Image](https://bcdn.docswell.com/page/KJ42D23RE1.jpg)

安定性解析
11
収束点の安定性を評価
𝜖 𝑙 = ∑∗ -∑𝑙 とおいて，誤差の伝播を計算する
要素毎にテイラー展開して∑∗ まわりの摂動を関数の外に出す
※𝜒𝑞∗ ，𝜒𝑐 ∗ は初期分散𝜎𝜔 ，𝜎𝑏 から求める
Wakasugi, Panasonic Corp.


# Page. 12

![Page Image](https://bcdn.docswell.com/page/LE1MZM1V7G.jpg)

安定性解析
12
第𝑙層までの摂動の伝播を計算
𝑙0 ~𝑙までCNNを演算すると
Wakasugi, Panasonic Corp.


# Page. 13

![Page Image](https://bcdn.docswell.com/page/GEW39383E2.jpg)

フーリエ変換によるCNN演算の代替
13
フーリエ変換し，第𝑙層における摂動を導出
フーリエ変換をすると
この後の解析のメインとなる式．基本的な解釈は𝜆, 𝜒 ≠ 1 のとき発散or消失
※ 𝜆𝛼,𝛼′ は畳み込み領域を表す関数のフーリエ変換後の値．最大値は1.
→矩形派のフーリエ変換のようなイメージ
Wakasugi, Panasonic Corp.


# Page. 14

![Page Image](https://bcdn.docswell.com/page/47ZV9V8GE3.jpg)

摂動の伝達の深さを推定
14
非対角項に着目し，摂動の減衰の程度を推定
ただし，𝜉𝛼,𝛼′ = −1/log(𝜆𝛼,𝛼′ 𝜒𝑐 ∗ )
よって𝜆𝛼,𝛼′ 𝜒𝑐 ∗ → 1で減衰の程度が発散
※ 𝜆𝛼,𝛼′ は畳み込み領域を表す関数のフーリエ変換後の値．最大値は1.
→矩形派のフーリエ変換のようなイメージ
※𝜒𝑞∗ ，𝜒𝑐 ∗ は初期分散𝜎𝜔 ，𝜎𝑏 から求める
Wakasugi, Panasonic Corp.


# Page. 15

![Page Image](https://bcdn.docswell.com/page/YJ65K5PQ7V.jpg)

Back Propagationの理論解析
15
Back Propagationについても同様の議論が可能
第𝑙層の微分の計算
微分の漸化式
共分散の漸化式
→ 𝜒 = 1が勾配消失/発
散しない条件
Wakasugi, Panasonic Corp.


# Page. 16

![Page Image](https://bcdn.docswell.com/page/GJ5YPYK2J4.jpg)

学習高速化
16
ヤコビアン𝐽に等長性を持たせる初期化
𝑊の初期値を上記アルゴで生成． 𝑊を直交にする
#tensroflowに実装されている
Wakasugi, Panasonic Corp.


# Page. 17

![Page Image](https://bcdn.docswell.com/page/9E2G6GW1ER.jpg)

空間相関の維持
17
フィルターのフーリエ変換後の値が全て1になるように初期化
フィルターの中心のみ値を持つ（=δ関数）
#tensroflowに実装されている
Wakasugi, Panasonic Corp.


# Page. 18

![Page Image](https://bcdn.docswell.com/page/D7YV9VL47M.jpg)

この後の流れ
18
• 理論解析
 データの相関が第L層まで伝達するかを推定
 第∞層まで伝達する初期パラメータを導出
• 実験
 上記初期パラメータで学習を実施．
 早く安定な学習を実現．
 10000層のCNNで学習．
Wakasugi, Panasonic Corp.


# Page. 19

![Page Image](https://bcdn.docswell.com/page/VENMLM46J8.jpg)

学習可能性の実験的検証
19
理論と実験の整合性を確認
• MNISTについて，
重さの初期分散(横軸)と層数(縦軸0-600)を変えて学習．
• 予測性能をヒートマップに(赤：良い，黒：悪い)
• step=500，2500，10000，100000回の４つを表示
理論と実験の整合性が見て取れる．
特に，相関長が発散(=第∞層まで学習)する性質も一致
[Xiao et al., 2018]
Wakasugi, Panasonic Corp.


# Page. 20

![Page Image](https://bcdn.docswell.com/page/Y79N4NQR73.jpg)

対角初期化による学習の高速化
20
ガウス初期化に比べ高速に学習＠4000層
• MNISTについて，4000層のCNNを学習
対角初期化(赤)とガウス初期化(青)．
ガウス初期化に比べ優位に早くなっている
[Xiao et al., 2018]
Wakasugi, Panasonic Corp.


# Page. 21

![Page Image](https://bcdn.docswell.com/page/G78KQKGGJD.jpg)

空間相関
21
空間相関のあるデータでは深くなるほど性能が劣化
• Cifar10について，2^8~2^13層のCNNを学習
点線(テスト)，実線(訓練)
• 層を深くするほど，テストの性能が減少
特に，FCの性能に漸近する．
理論解析から，空間相関が重要な場合は
層を深くすると性能低下すると示唆されており，
実際に確認された
[Xiao et al., 2018]
Wakasugi, Panasonic Corp.


# Page. 22

![Page Image](https://bcdn.docswell.com/page/L7LZXZGXER.jpg)

Delta-Orthogonal initialization
22
𝜆𝛼,𝛼′ が全て1となる初期化により空間相関の低減を抑制
• δ関数によるフィルターから一様フィルタまでの5種類を検証
• 一様フィルターに近づくほど，深層で性能が低下
[Xiao et al., 2018]
Delta-Orthogonal initializationによって，空間相関を保ったまま深層ネットでの学習が可能
Wakasugi, Panasonic Corp.


# Page. 23

![Page Image](https://bcdn.docswell.com/page/4EMVLVQ3EW.jpg)

10000層の学習
23
10000層でも学習可能．必要Step数は1250層の場合と変わらない
• MNIST(上図)，Cifar10(下図)について，1250~10000層の
CNNを学習．点線(テスト)，実線(訓練)
• 必要Step数がほぼ変わらない．
10000層(or more)でも学習ができるようになった
深いNNでも学習可能 → 次の課題は汎化性能向上
[Xiao et al., 2018]
Wakasugi, Panasonic Corp.


# Page. 24

![Page Image](https://bcdn.docswell.com/page/PER2K28R79.jpg)

Discussion
24
• 深いNNでも学習可能 → 学習可能性の課題はほぼ解決
• 深さ以外の汎化性能向上要因の究明に研究の主軸が移る
• Skip ConnectionsやBatch Normalizationは学習可能性向上以外の役割を果
たしているのではないか(define a good model class)．
Wakasugi, Panasonic Corp.


# Page. 25

![Page Image](https://bcdn.docswell.com/page/P7XDLD8YJX.jpg)

まとめ
25
• CNNにおける学習可能性についての理論解析を実施
• 第∞層でも学習可能な重さの初期化方法を提案
• 10000層CNNが学習可能なことを実験的に検証
• 深さ以外の汎化性能向上要因の究明が必要．
ご清聴ありがとうございました．
Wakasugi, Panasonic Corp.