[DL輪読会]KOALAnet: Blind Super-Resolution Using Kernel-Oriented Adaptive Local Adjustment

DEEP LEARNING JP [DL Papers] KOALAnet: Blind Super-Resolution Using Kernel-Oriented Adaptive Local Adjustment Presenter: Yuki Kondo https://yuki-11.github.io/ 2021.08.12 (Toyota Technological Institute, Intelligent Information Media Lab) http://deeplearning.jp/ Yuki Kondo @ TTI-J 1

• https://yuki-11.github.io/
• http://deeplearning.jp/

Section １．論文情報・概要 ２．導入 ３．先行研究 ４．提案手法 ５．実験結果 ６．結論・所感 Yuki Kondo @ TTI-J 2

• https://yuki-11.github.io/

Section １．論文情報・概要 ２．導入 ３．先行研究 ４．提案手法 ５．実験結果 ６．結論・所感 Yuki Kondo @ TTI-J 3

• https://yuki-11.github.io/

論文情報 • 論文名 KOALAnet: Blind Super-Resolution Using Kernel-Oriented Adaptive Local Adjustment (CVPR2021 採択) • 著者 Soo Ye Kim, Hyeonjun Sim, Munchurl Kim Korea Advanced Institute of Science and Technology • URL 論文※：https://openaccess.thecvf.com/content/CVPR2021/html/Kim_KOALAnet_Blind_SuperResolution_Using_Kernel-Oriented_Adaptive_Local_Adjustment_CVPR_2021_paper.html コード：https://github.com/hjSim/KOALAnet ※出典が明記されていない図表は当論文より引用 Yuki Kondo @ TTI-J 4

• https://openaccess.thecvf.com/content/CVPR2021/html/Kim_KOALAnet_Blind_Super-Resolution_Using_Kernel-Oriented_Adaptive_Local_Adjustment_CVPR_2021_paper.html
• https://github.com/hjSim/KOALAnet
• https://yuki-11.github.io/

論文概要 [ タスク ] • ブラインド超解像(SR)：未知の劣化(ブラー)を含む画像を対象とした超解像 [ 問題提起 ] • 従来手法は，局所的なブラーを持つ領域に対し，過剰に鮮鋭化する ⇒ 被写界深度(DoF)の浅い画像(アーティスティックな画像等)には不適切 ブラー 劣化度 大 一様なブラー (カメラ特性) 局所的なブラー (意図的な効果) 劣化度 小 Yuki Kondo @ TTI-J 被写界深度(DoF)の浅い自然画像の例 5

• https://yuki-11.github.io/

論文概要 [ 提案手法 ] • 空間的に変化するブラーカーネルを推定するKOALAnetを提案 • ダウンサンプリングネットワークでは，ブラーカーネルを ピクセルワイズに推定 • アップサンプリングネットワークでは，推定されたブラーカーネルを KOALAモジュールによって活用しながら，超解像を実施 [ 結果 ] • ランダムな異方性ガウシアンブラーカーネルによる劣化させた画像 ⇒ State-of-the-artを達成 • 劣化が不明な自然画像 ⇒ 定性的に過剰な鮮鋭化を防止した超解像結果を実現 Yuki Kondo @ TTI-J 6

• https://yuki-11.github.io/

Section １．論文情報・概要 ２．導入 ３．先行研究 ４．提案手法 ５．実験結果 ６．結論・所感 Yuki Kondo @ TTI-J 7

• https://yuki-11.github.io/

超解像(Super Resolution: SR)とは • 低解像画像を高解像度化する技術 • 不良設定問題 • 自己教師あり学習 (ダウンサンプリングで学習ペア獲得) 超解像 [1] 低解像度画像(ILR) 超解像画像(ISR) Yuki Kondo @ TTI-J [1] Set5: Marco Bevilacqua et al. in Low-Complexity Single-Image Super-Resolution based on Nonnegative Neighbor Embedding 8

• https://yuki-11.github.io/

ブランド超解像(ブラインドSR)とは [ (ノンブラインド) 超解像 (SR) ] ・高解像度画像 (IHR) が存在し，ある劣化カーネルによって劣化したと仮定した上で 低解像度画像 (ILR) を超解像画像 (ISR) として復元する 推定 ある劣化カーネルによる 劣化(仮定) 超解像 低解像度画像(ILR) 高解像度画像(IHR) 超解像画像(ISR) 不安定環境のブラーカーネルは，一意に定まらない [ ブラインド超解像 (ブラインド SR) ] ⇐ より汎用的かつ難解なタスク ・未知の劣化カーネルによる劣化を仮定したSR ⇐ 適切なブラーカーネルの推定が有効 推定 推定 『未知の劣化カーネル』 による劣化 高解像度画像(IHR) ？ 低解像度画像(ILR) Yuki Kondo @ TTI-J 超解像 超解像画像(ISR) 9

• https://yuki-11.github.io/

ブラーの空間的変化と現在のブラインドSR • 未知のブラーは一般に空間的に変化する • カメラの絞り / 焦点距離の操作 ⇒ 画像ごとに被写界深度(DoF)が異なる ＊被写界深度(DoF)：ピントを合わせた部分から前後方向にピントが合うように見える範囲 • 注意するオブジェクトを強調する効果等 • 最近はスマホ等でもポートレートモードとして実装 [2] 被写界深度の深い画像 [2] 被写界深度の浅い画像 Yuki Kondo @ TTI-J [2] Shade3D Knowledge Base 『レンダリングでの被写界深度(DOF)の表現』 https://knowledge.shade3d.jp/knowledgebase/%E3%83%AC%E3%83%B3%E3%83%80%E3%83%AA%E3%83%B3%E3%82%B0%E3%81%A7%E3%81%AE%E8%A2%AB%E5%86%99%E7%95%8C %E6%B7%B1%E5%BA%A6dof%E3%81%AE%E8%A1%A8%E7%8F%BE , (2021/8/12) 10

• https://knowledge.shade3d.jp/knowledgebase/レンダリングでの被写界深度dofの表現
• https://yuki-11.github.io/

ブラーの空間的変化と現在のブラインドSR • ブラインドSRに求められる機能 • 浅いDoFの画像に対して，ブラーを選択的に考慮して超解像する ⇒ 先行研究では未だ検証されていない ブラー維持 鮮明化 Yuki Kondo @ TTI-J 11

• https://yuki-11.github.io/

Section １．論文情報・概要 ２．導入 ３．先行研究 ４．提案手法 ５．実験結果 ６．結論・所感 Yuki Kondo @ TTI-J 12

• https://yuki-11.github.io/

IKC <Jinjin Gu et al. CVPR2019> • ブラーカーネルの反復的な補正 (Iterative Kernel Correction) • 初期劣化カーネルを推定するネットワークP • ILRと劣化カーネルベクトルを用いて，超解像を行うネットワークF (SFTMD) • ISRと劣化カーネルを用いて，補正された劣化カーネルを推定するネットワークC 推定ブラー カーネル ベクトル ・反復的な処理により，推論に時間がかかる ・画像に対し，1つのブラーカーネル(ベクトル)を推定 Yuki Kondo @ TTI-J 13

• https://yuki-11.github.io/

KernelGAN <Sefi Bell-Kligler et al. NeurIPS 2019> • Generatorを推定ブラーカーネルとして利用 • 現在のLR画像をGenretorでダウンスケールしたパッチ画像が，LRパッチ画像と同じ劣化状態で あれば(Discriminatorをだませれば)，Genretorを未知のブラーカーネルとみなせる • Generatorは線形多層CNN • ノンブラインドSR手法と併用 ・カーネルのGTが不要 ・画像に対し，1つのブラーカーネルを推定 Yuki Kondo @ TTI-J 14

• https://yuki-11.github.io/

Section １．論文情報・概要 ２．導入 ３．先行研究 ４．提案手法 ５．実験結果 ６．結論・所感 Yuki Kondo @ TTI-J 15

• https://yuki-11.github.io/

アーキテクチャ概要 • KOALA(Kernel-Oriented Adaptive Local Adjustment)net • ダウンスケーリングネットワークとアップサンプリングネットワークの2ブランチ設計 • ピクセルワイズにブラーカーネルを推定 Yuki Kondo @ TTI-J 16

• https://yuki-11.github.io/

ダウンスケーリングネットワーク • 空間的に変化するブラーカーネルを推定 Yuki Kondo @ TTI-J 17

• https://yuki-11.github.io/

ダウンスケーリングネットワーク • 異方性ガウシアンカーネル𝑘𝑔 とバイキュービック𝑘𝑏 で画像を低解像度化 𝑘𝑑 ：合成されたダウンスケーリングカーネル • エンコーダ-デコーダ構造でブラーカーネルマップ𝐹𝑑 を生成 Yuki Kondo @ TTI-J 18

• https://yuki-11.github.io/

ダウンスケーリングネットワーク • 損失関数は2つの再構成誤差で定義 • LR画像の再構成誤差： 空間的に変化するブラーカーネルを予測することを強制 • ブラーカーネルマップ平均値の再構成誤差： ブラーカーネル推定に柔軟性を与える Yuki Kondo @ TTI-J 19

• https://yuki-11.github.io/

ダウンスケーリングネットワークの特性 [ 高周波領域における特性 ] • ブラーカーネルの変化に対してより敏感 ⇒ 本質的なブラー情報を獲得しやすい 超解像時の再構成誤差の ほとんどが高周波領域で発生 高周波領域 [ 低周波領域における特性 ] 低周波領域 • ブラーカーネルの変化に対してより鈍感 ⇒ ブラーカーネル推定はばらつく (望ましくない逆伝播が行われるリスクあり) [1] Yuki Kondo @ TTI-J [1] Set5: Marco Bevilacqua et al. in Low-Complexity Single-Image Super-Resolution based on Nonnegative Neighbor Embedding 20

• https://yuki-11.github.io/

アップスケーリングネットワーク • ブラーカーネルマップを適応的に利用・融合し，超解像を実施 • KOALAモジュールを利用 Yuki Kondo @ TTI-J 21

• https://yuki-11.github.io/

アップスケーリングネットワーク ෠ • LR画像Xを入力し，SR画像𝑌を出力する (1) 5つのKOALAモジュールでダウンスケーリングネットワークから， 得られたブラーカーネルマップに基づく特徴量𝑓𝑑 を融合する (2) 7つの残差ブロックで処理され，特徴量マップ𝑓𝑢 を生成 (3) 𝑓𝑢 から残差マップrとアップサンプリングフィルター𝐹𝑢を生成 ෨ (4) アップサンプリングフィルター𝐹𝑢を用いて， 𝑌を生成． 𝑌෠ = 𝑌෨ + 𝑟を出力 Yuki Kondo @ TTI-J 22

• https://yuki-11.github.io/

KOALAモジュール • Kernel-Oriented Adaptive Local Adjustment (カーネル指向型局所適応調整)モジュール • 残差構造(メインパスは余分な特徴量の除去の働き) • ダウンスケーリングネットワークに由来するブラーカーネルマップをm，kに変換 • 特徴量マップmとの要素積 • 特徴量マップ𝑘との畳み込み演算 (1×1Convで隣接する値が 混ざることを防ぐ) 全てのチャンネルに対して，同じ特徴量 マップ𝑘を利用 ⇒ 計算量削減 Yuki Kondo @ TTI-J 23

• https://yuki-11.github.io/

学習手順 (1) ダウンスケーリングネットワークを事前学習 (2) KOALAモジュールをすべてResブロックに置き換えて，アップサンプリング ෠ ネットワークを再構成誤差𝐿1 (𝑌, 𝑌)で事前学習 (3) ダウンスケーリングネットワークとアップサンプリングネットワークを 統合して，学習 Yuki Kondo @ TTI-J 24

• https://yuki-11.github.io/

Section １．論文情報・概要 ２．導入 ３．先行研究 ４．提案手法 ５．実験結果 ６．結論・所感 Yuki Kondo @ TTI-J 25

• https://yuki-11.github.io/

実験条件 [ データセット ] ・Train:DIV2K ・Test: Set5 , Set14, BSD100, Urban100, Manga109 [ ブラーカーネル ] ・ランダムな異方性ガウシアンカーネル(15×15)を畳み込み，画像を劣化させる ， ， … [ 拡大倍率 ] ・2倍，4倍 Yuki Kondo @ TTI-J 26

• https://yuki-11.github.io/

既存ブラインドSRとの比較 [ 定量評価 ] ・すべてのデータセットでSOTA(PSNRで1dB以上の大差)を達成† ・計算量も最小 †ただし，IKCは等方ガウシアンのみで学習 ※ ※ ※ IKC last : 最終反復回数7回目の結果， IKC max : 反復中に最もPSNRが高くなった時のスコア Yuki Kondo @ TTI-J 27

• https://yuki-11.github.io/

既存ブラインドSRとの比較 [ 定性評価 ] ・提案手法はシャープな エッジや高周波な ディテールを復元 ・ブラーカーネルも 忠実に推定 Yuki Kondo @ TTI-J 28

• https://yuki-11.github.io/

既存ブラインドSRとの比較 [ 定性評価 (実画像利用．ブラーカーネル不明) ] ・提案手法は実画像においても良好な結果を得られる Yuki Kondo @ TTI-J 29

• https://yuki-11.github.io/

美的画像に対する比較 [ 定性評価 (実画像利用．ブラーカーネル不明) ] ・浅いDoF画像に対して，過剰な鮮鋭化を防止 Yuki Kondo @ TTI-J 30

• https://yuki-11.github.io/

美的画像に対する比較 [ 定性評価 (実画像利用．ブラーカーネル不明) ] ・浅いDoF画像に対して，ダウンスケーリングネットワークが過剰な鮮鋭化を防止 (Baselineはアップサンプリングネットワークのみ) Yuki Kondo @ TTI-J 31

• https://yuki-11.github.io/

その他の比較 Ablation study ダウンスケーリングネットワークのモデル比較 低周波領域と高周波領域の推定カーネルと推定アップサンプ リングフィルターの違い． ・高周波領域ではカーネル推定が良好 ・アップサンプリングフィルターも指向性のある複雑な カーネル推定精度比較 フィルターとなる Yuki Kondo @ TTI-J 32

• https://yuki-11.github.io/

Section １．論文情報・概要 ２．導入 ３．先行研究 ４．提案手法 ５．実験結果 ６．結論・所感 Yuki Kondo @ TTI-J 33

• https://yuki-11.github.io/

結論・所感 [ 結論 ] ・空間的に変化するカーネルを予測するダウンサンプリングネットワークと予測カーネルを KOALAモジュールによって活用し，超解像を行うアップサンプリングネットワークからなる KOALAnetを提案 ・ランダムな異方性ガウシアンで劣化させた画像において，SOTAを達成 ・実画像に対しても有効であり，意図的なブラーに対し，過剰鮮鋭化の防止を実現 Yuki Kondo @ TTI-J 34

• https://yuki-11.github.io/

結論・所感 [ 所感 ] ・ダウンサンプリングネットワークで初期カーネルを推定し，複数回適切に融合させることは 非常に有効であると感じた．低周波領域のブラー推定は良くないが，定量的・定性的にもあまり 影響は出ない． ・学習に用いる異方性ガウシアンは全ピクセル共通であるにもかかわらず，その条件に過学習せず， 浅いDoF画像に対しても適切な処理ができることは若干納得できていない (劣化前の画像にも，空間的に変化するブラーが含まれているため，LR再構成誤差で学習？) ・オブジェクトが動くことで生じるモーションブラーのような空間的に急激な変化が生じる画像に 対して，どの程度有効なのか？ Yuki Kondo @ TTI-J 35

• https://yuki-11.github.io/