---
title: [DL輪読会]Network Deconvolution
tags:  #deep learning  
author: [Deep Learning JP](https://www.docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/G75YPL2574.jpg?width=480
description: 2020/06/26 Deep Learning JP:  http://deeplearning.jp/seminar-2/
published: June 30, 20
canonical: https://www.docswell.com/s/DeepLearning2023/KJLNGQ-network-deconvolution
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/G75YPL2574.jpg)

Network Deconvolution
Deepx/Matsuolab
冨⼭ 翔司


# Page. 2

![Page Image](https://bcdn.docswell.com/page/9J2G6L4GJR.jpg)

TL;DR
• 画像の隣接するピクセルの情報が相関を持っている場合、それらは物体認識などのタスクをする上で
冗⻑な情報であり、CNNの訓練を難しくしている。
• 本論⽂では、CNNの各層の初めにこれらの相関を除去する操作（＝network deconvolution）を⼊れる
ことで、特徴表現のスパース化を実現した。
• これによって、CNNの学習速度及び精度が向上することを確認した。
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/DEYV9QMGEM.jpg)

書誌情報
• 筆者
– Chengxi Ye∗ , Matthew Evanusa, Hua He, Anton Mitrokhin, Tom Goldstein, James A. Yorke† , Cornelia
Fermüller, Yiannis Aloimonos
• 研究機関
– Department of Computer Science, University of Maryland, College Park
• 学会
– ICLR 2020
• 6, 8, 8
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/VJNMLKW878.jpg)

解きたい課題
CNNの各特徴量のpixelwise及びchannel wiseの両⽅の相関を無くすこと。
• 仮説：隣接するピクセル、また、チャンネル間の相関があることで、学習が難しくなる
– 相関がある情報＝冗⻑な情報
• カメラに映る写真も、何かのフィルタがかかった結果だとすると、deconvできるはずでは？
Convolution: 𝑏 = 𝑘 ∗ 𝑥 = 𝐾𝑥
Deconvolution: 𝑥 = 𝐾 !" 𝑏
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/YE9N4VXXE3.jpg)

関連研究
• ⽩⾊化
– データの要素間を相関をなくし、学習の効率化を狙う
• 正規化
– データの偏りをなくし、学習の効率化を狙う
• 特に、batch normalizationは、レイヤーの前に特徴量に処理を加える、と⾔う観点で似たことをやっている。
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/GE8KQP297D.jpg)

数学的な動機付け
共分散⾏列が単位⾏列であれば、勾配法は最も効率よく最適解にたどり着く。
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/LELZX12MJR.jpg)

⼿法
im2colによって、畳み込みを⾏列計算として、𝑐𝑜𝑣 "#.%で無相関の空間にXを⾶ばす
• Note
– 𝑋 ' 𝑐𝑜𝑣 !".$ = Zと⾒ると、𝑍 % 𝑍 = 𝑐𝑜𝑣 !".$ ' 𝑐𝑜𝑣 ' 𝑐𝑜𝑣 !".$ = 𝐼で、確かに共分散⾏列が単位⾏列になっている。
– 図は１チャネルの例だが、複数チャネルの場合、その分Xの列が増える
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/4JMVLW86JW.jpg)

𝑐𝑜𝑣 !".$ の求め⽅
• CGや数値計算の分野で、研究の歴史があるそうです。
• 細かい説明は割愛します（というか理解してないです🙇）
– 気になる⼈は元論⽂をチェック！
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/PJR2KY5NE9.jpg)

アルゴリズム
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/PEXDLGK87X.jpg)

結果
• Fashion-MNISTをつかって、４つの条件で実験
– いずれもSGDやBatch Normalization(BN)に⽐べて、収束が早く精度も良い
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/3EKXL45L7D.jpg)

結果
CIFAR10, 100, ImageNetで精度向上（どれくらい凄いんですかね？）
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/L7353LK6E5.jpg)

Deconvolutionされた⼊⼒画像
ZCAっぽい
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/87DD4N3M7G.jpg)

⽣物の視覚野との関係
• 霊⻑類の視覚野の多くの受容野は、中⼼-周囲型の⾏動を⽰す。霊⻑類の視覚野の中には、オンセン
ター細胞と呼ばれる受容野があり、中⼼部に刺激が与えられ、かつ、その周囲の円の中で刺激が不⾜
しているときに最⼤に反応する。
• 図2に⽰すように、我々のデコンボリューションカーネルは、⾃然界に存在するような中⼼周囲型フィ
ルタに強く似ている。
（translated by DeepL)
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/VJPXM54Q78.jpg)

感想
• ⼿法がシンプル。
• im2col賢い。
• いまいち、⽩⾊化（PCA、ZCA）との違いの整理がついていない
– モチベーションは同じだが、固有値分解とかしてる部分を𝑐𝑜𝑣 !".$ を数値計算でダイレクトに解きにいってる、と⾔
う差？
14