【論文紹介】スケッチ画像の自動彩色手法

論文紹介 Reference-Based Sketch Image Colorization using Augmented-Self Reference and Dense Semantic Correspondence

この論文のタスク ：リファレンス画像をヒントとして用いるスケッチ画像の着色 入力 スケッチ画像 出力 リファレンス画像 • スケッチ画像とリファレンス画像の対応関係を学習する必要がある J. Lee et al., "Reference-based sketch image colorization using augmented-self reference and dense semantic correspondence", Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., pp. 5801-5810, Jun. 2020.

論文の概要 • 提案したこと スケッチ画像とリファレンス画像の対応関係を学習するために、 Attention機構をもとにしたモジュールであるSCFTを提案 ( Spatially Corresponding Feature Transfer ) • 結果 複数のデータセットで定量評価、定性評価ともに既存手法を上回る

学習プロセスの概略図

学習データの入力 ・入力画像はすべて256*256のサイズ 出力の教師画像 ・データセットの画像のRGB値それぞれに ランダムノイズを加えたもの リファレンス画像 ・教師画像を変形したもの ・TPS変換を使う スケッチ画像 ・データセットの画像から輪郭抽出したもの ・XDoGを使う

Er Es • スケッチ画像とリファレンス画像について、 Encoderを用いてそれぞれの 特徴量Vs, Vrを抽出 各層の空間サイズ h×w が同じ値に なるようにダウンサンプリングし、 すべてのチャネルについて concatenateしたもの 特徴量の[ h×w, c ] = [ 256, 992 ]

SCFT • 画像間の対応関係を学習する

出力 • C = Vs + Vr* • Cを４層のRes blocksに入力 • skip接続のあるDecoderに入力 • 識別器：Patch GAN

損失関数

評価指標 • FID 実画像と出力画像の分布の距離を測定 • Semantically Corresponding PSNR（本論文で提案） • リファレンス画像と出力画像は構造が異なるため通常のPSNRが使えない • 出力画像のパッチに対応する領域同士でPSNRを行う • 出力画像がリファレンス画像のスタイルをどれほど忠実に反映しているかを評 価

データセット • ImageNet • Human Face • Yumi FID を計算 • Tag2pix • Edges → Shoes • SPair-71k SC-PSNRを計算

定量的結果（FID）

定量的結果（SC-PSNR）

線画着色 出力例 Image Net Human Face Yumi Tag2pix Edges → Shoes 画像変換 スタイル変換

ユーザテスト

Attention Mapsの可視化 スケッチ画像の左目の領域をクエリとしたとき、 リファレンス画像中で注目する上位三つの領域を可視化 ・attention mapは目の領域に注目 ・出力画像を正しく青色で着色できる

まとめ • リファレンス画像とスケッチ画像の対応関係を学習するSCFTモジュールを 提案 • 複数のデータセットに対してstate-of-the-art

Appendix Er, Es のアーキテクチャ