[DL輪読会]Is Generator Conditioning Causally Related to GAN Performance?

DEEP LEARNING JP [DL Papers] Is Generator Conditioning Causally Related to GAN Performance? Jun Hozumi, Matsuo Lab http://deeplearning.jp/ 1

• http://deeplearning.jp/

書誌情報 • AUTHORS: Augustus Odena, Jacob Buckman, Catherine Olsson, Tom B. Brown, Christopher Olah, Colin Raffel and Ian Goodfellow – Google Brain • Submitted Date: 23 Feb 2018 (on arXiv) • 注: 要点を軽めに説明します – 論文中でも理論に深入りしていない – ここでリーマン幾何学とか説明しきれない 2

概要 • Penningtonらは、ヤコビアンの特異値の分布全体を制御することが、深層学 習の設計に重要であることを示唆した – Pennington, Jeffrey, Samuel Schoenholz, and Surya Ganguli. "Resurrecting the sigmoid in deep learning through dynamical isometry: theory and practice." in NIPS 2017. • そこで、GANのGeneretorのヤコビアン特異値分布を調べてみた – 訓練の初期で悪条件(ill-conditioned)になっていた – 評価指標であるInception ScoreやFIDと強い相関があった • Generatorのヤコビアン正規化技術として「Jacobian Clamping」を提案 – 平均Inception Scoreや平均FIDが改善された – これらの分散も防げた 3

前書き • GANの訓練手法の理論や技術について、これまでに数多く研究されている – その多くは確率統計の理論をもとにしている • 今回は、Generatorの入出力ヤコビアンの二乗特異値を調べてみた – ヤコビアンは訓練開始時に悪条件になるが、条件数が同じ、もしくは減少する 「良クラスタ」と条件数が増え続ける「不良クラスタ」になる傾向がある – ヤコビアンの条件が、GANの品質の評価指標であるInception Score(IS)やFrechet Inception Distance(FID)と強い関係性があり、GANのヤコビアンの条件が良くなる と、これらの指標に従った品質も良くなる – 上記事項を「Jacobian Clamping」という正規化手法を提案し、それをテストする ことで上記の因果関係の証拠を示す。この手法によって条件が簡単に制御でき、 ISやFIDの平均スコアや分散が改善される 4

ヤコビアンについて(1) • Generatorをマッピングと見る • どのzにもGeneratorのヤコビアンJzがある • ここではJzの二乗特異値の分布を考えたい • Mz = JzTJzは次元nz*nzで対称な正定値行列で、リーマン計量（計量テンソル） 5

ヤコビアンについて(2) • すべてのzについてMzが分かれば、Gについての興味深い事項が分かる – Mzが計量テンソルだから • つまり、ある点zのMzの 大きな 固有値(λk)に対応する固有ベクトル(vk)は、Z 内の非常に小さな「ステップ」をとるとG(z)の大きな変化をもたらす方向を 与える • ただスペクトル全体だと扱いづらいため、要約量であるMzの条件数を見る – 小さいほど良条件で、数値解析に向く 6

Generatorの分析(1) • 潜在空間と画像空間が小さいのでJzはソフト上で明示的に構築できる • 条件数は訓練開始時に急激に増え、その後は2グループに分離 平均対数条件数(MNIST) 同じモデルで10回施行 step 0 100000 7

Generatorの分析 (2) • 条件数と評価指標には、強い対応関係が見られた – 紫の線に注目！ 平均対数条件数（前掲） （ 生成画像の）分類精度 Frechet Inception Distance(FID) 8

提案: Jacobian Clamping • Jzを直接制御する「Jacobian Clamping」を提案 論文中の実験では ・λmax=20 ・λmin=1 ・ε=1 • （色々試したものの、シンプルなアルゴリズムのほうが効果があった） 9

実験結果 • ほとんどの場合に効果があった – Qの制約に失敗する場合もあるが、そのときはスコアも悪くなる CIFAR10 STL10 平 均 対 数 条 件 数 FID 10

提案手法の（現状での）限界 • WGAN-GPで試してみたが、スコアの改善はできなかった 11

結論 • GANのGeneretorのヤコビアン特異値の挙動を調べてみた – 訓練の初期で悪条件になっていた – 評価指標であるInception ScoreやFIDと強い相関があった • 「Jacobian Clamping」によってヤコビアンを明示的に制御することで、平均 スコアを改善した • Generatorの条件とモデルの質との因果関係の証拠を示した – これはGANの訓練の挙動を理解するための重要な一歩である 12