【招待講演】 数理最適化に基づく信号復元と機械学習技術の融合

20 2 3/ 01/24 情 報理論 研 究 会 数 理 最 適 化に基づく信号復元と 機 械 学習技術の融 合 大 阪大学 大 学 院基 礎工 学 研 究 科 助教 早川 諒 E -m a i l: ha y a k aw a.ry o .e s @o s a ka -u .ac .j p Web s i te : ht t p s: / / rh ay akaw a. git h u b .i o/

• https://rhayakawa.github.io/

1/42 自己紹 介 ✦ 名 前：早川 諒 （はやかわ りょう） ✦ 所 属：大 阪 大 学大 学院 基 礎 工 学 研究 科 助教 201 5年 3月 2 01 7年 3月 2 0 20 年 3月 京大工 （学 士） 京 大 院 情報 （ 修 士） 京大 院情 報 （博 士） Tw it ter: @ wa d dle ̲de eee eee 2 0 20 年 〜 4月 阪大 院基 礎工 （助 教） 近 似メッセージ伝搬 法 スパース信号処 理 M I M O信号検出 画 像復 元 圧 縮センシング 無線 信号 処理 画像 処理 凸/ 非凸最適 化 最 近の興 味：最 適 化アルゴリズムと機械学習技術の組み合わせ

• https://twitter.com/waddle_deeeeeee

2/42 本 講 演の概 要・目的 ✓ 信号復元：未知の信号を観測結果から復元 ✦ 画像 復 元 ，無 線 信 号検出，圧 縮センシング，... 数 理最適 化を用いたモデルベース手 法 目的関 数を設計・最 小 化 （解釈 性◯ ，汎用性◯ ，復 元 精 度△） 機 械学習を用いたデータドリブン手 法 データから，観 測値 → 復 元 結 果の変 換を学習 （解釈 性△，汎用性△，復 元 精 度 ◯ ） 融 合 最強？ 目的 ✦ 最適 化に基づく信 号 復 元における基 本的な考え方・道具を説明 ✦ 機械 学習技 術と組み合わせるアプローチを複数紹介 → これらの手 法・アイデアを使う人を増やす

3/42 今月（ 2 023/ 01）のIEEE SP Magazine B. We n , S . R a vi sh ank ar, Z. Z h ao , R . Gir yes and J. C . Ye, "P hysics- Dr iven Ma c h in e L ea r ni ng f o r Co m p u tati o n al Imaging [From t he Guest Edit or ]," I EE E S ig n a l P ro c es si ng Mag az i ne , v o l . 40, no. 1, pp. 28- 30, Jan. 2023. を 参照

• https://ieeexplore.ieee.org/document/10004832

目次 ✦ 信 号 復 元問題 ✦ 近 接 分 離最適化による信号復元 ✦ 最 適 化と機 械学習技術の融合 ✤ 深層 展 開 ✤ P lug- and-Pl ay ✤ Cons ensus Equil ibriu m ✦ まとめ

信号復元問題 線 形 観 測からの信 号復元 4/42 N x ∈ ℝ 未知ベクトル を ✓ その線形観測 y = Ax + v ∈ ℝM から推定 N M y = A x + v 雑音 推 定値 x̂ 例： ✦ 圧縮センシング ✦ 画像 復元 ✦ 無線 信号 検出

信号復元問題 スパース信 号復元（圧縮センシング）[1] 5/42 ✓ スパースな（零成分が多い）未知ベクトル x ∈ ℝN を その線形観測 y = Ax + v ∈ ℝM (M < N) から推定 N M y = A 非零 成分 x + v 雑音 例： ✦ M RI 画像 再構成 [2 ] 推 定値 x̂ （ M a g n e t i c Re so n a nc e I m a gi n g ） ✦ 無線 通信路 推定 [3 ] [1] D. L. Donoho, “Compressed sensing,” IEEE Trans. Inf. Theory, vol. 52, no. 4, pp. 1289–1306, Apr. 2006. [2] M. Lustig, D. L. Donoho, J. M. Santos, and J. M. Pauly, “Compressed sensing MRI,” IEEE Signal Process. Mag., vol. 25, no. 2, pp. 72–82, Mar. 2008. [3] K. Hayashi, M. Nagahara, and T. Tanaka, “A user’s guide to compressed sensing for communications systems,” IEICE Trans. Commun., vol. E96-B, no. 3, pp. 685–712, Mar. 2013.

6/42 信号復元問題 画像復元 ✓ 未知の原画像 x ∈ ℝN を 劣化画像 y = Ax + v ∈ ℝM から復元 劣 化 過程（ぶれ，欠損 ，… ）を 表す行 列 y = 原画 像 A x + v 雑音 劣化 画 像 例： ✦ ノイズ除 去 ✦ ぶれ除 去 ✦ 超解 像 復 元 画 像 x̂

7/42 信号復元問題 無 線 信 号 検出 ✓ 送信シンボルベクトル x ∈ ℂN を 受信信号ベクトル y = Ax + v ∈ ℂM から推定 M IMOシステム （Multiple-Input Multiple- Output） x1 送 信 機 xN a1,1 aM,1 a1,N v1 vM aM,N y1 yM 受 信 機 信号 検出 x1̂ , …, xN̂ 推定シンボル

目次 ✦ 信 号 復 元問題 ✦ 近 接 分 離最適化による信号復 元 ✦ 最 適 化と機 械学習技術の融合 ✤ 深層 展 開 ✤ P lug- and-Pl ay ✤ Cons ensus Equil ibriu m ✦ まとめ

近接分離最適化による信号復元 信 号 復 元のための最 適化問題の設計 8/42 ✓ 求めたいもの（= x）に対する値が小さくなるような目的関数を設計 minimize F(s) s∈ℝN F(s) x s* s ✦ 最 適 解 s* の復元精 度が良い 「良い」目的関数 F(s) { ✦ 効 率 的に最適 解 s* を求められる 効率的に解ける最適化問題の形式・条件に関する知識が重要

近接分離最適化による信号復元 最 適 化に基づく復 元の基本的な考え方 9/42 ✓ 観測モデルの情報と復元対象の信号に関する事前知識をどちらも活用 正則化パラメータ 1 基本 的な形： x̂ = arg min ∥y − As∥22 + λ g(s) {2 } s∈ℝN データ忠 実 性 観 測モデル y = Ax + v の情 報を活用 正則 化 x に関する事 前知 識を活用 1 ∥y − As∥22 + λ g(s) 2 x x̂ s

近接分離最適化による信号復元 例： ℓ1 正 則化を用いたスパース信号復元 10/42 スパースなベクトル x ∈ ℝN を その線形観測 y = Ax + v ∈ ℝM (M < N) から再構成 方針 { スパース性： ∥s∥1 = ∑ |sn| は小さくなってほしい データ忠実性： y − As は（ある意味で）小さくなってほしい N n=1 ℓ1 正則化を用いた最適化問題 1 minimize ∥y − As∥22 + λ∥s∥1 {2 } s∈ℝN ✓ 求めたいもの（＝スパースベクトル）に関する事前知識を活用可能 ただし， ℓ1ノルム ∥s∥1 は微分可能ではない → 効率的に解くには？

11/42 近接分離最適化による信号復元 近接写像 ✓ 微分可能でない関数を含む最適化を行うためのツール 凸関数 ϕ : ℝN → ℝ ∪ {+∞} の近 接写 像 1 proxγϕ(u) = arg min γϕ(s) + ∥s − u∥22 { } 2 s∈ℝN (γ > 0) 1 γϕ(s) + ∥s − u∥22 2 1 ∥s − u∥22 2 γϕ(s) proxγϕ(u) u s

12/42 近接分離最適化による信号復元 近 接 写 像の例 ✓ 近接写像の定義自体に最適化問題が含まれているが， 信号復元で有用な多くの関数に対して近接写像を効率的に計算可能 関 数 ϕ(s) ϕ(s) の近接 写像 [proxγϕ(u)]n = sign (un) max (|un| − γ, 0) ϕ(s) = ∥s∥1 1 ϕ(s) = ∥y − As∥22 2 proxγϕ(u) = (I + γA A) −1 凸集合 C への凸射 影 𝖳 𝖳 凸集合 C に関する 指 示関 数 0 (s ∈ C) ϕ(s) = {∞ (s ∉ C) (u + γA y)

13/42 近接分離最適化による信号復元 近 接 写 像の例 弱しきい値関数 ✓ 近接写像の定義自体に最適化問題が含まれているが， −γ 信号復元で有用な多くの関数に対して近接写像を効率的に計算可能 γ 関 数 ϕ(s) ϕ(s) の近接 写像 [proxγϕ(u)]n = sign (un) max (|un| − γ, 0) ϕ(s) = ∥s∥1 1 ϕ(s) = ∥y − As∥22 2 proxγϕ(u) = (I + γA A) −1 凸集合 C への凸射 影 𝖳 𝖳 凸集合 C に関する 指 示関 数 0 (s ∈ C) ϕ(s) = {∞ (s ∉ C) (u + γA y)

近接分離最適化による信号復元 弱しきい値関数のアニメーション 14/42 ℓ1 ノルム (ϕ(s) = ∥s∥1) の場 合 1 2 = sign (sn) max (|sn| − γ, 0) γ|s| + (s − u ) prox (u) = arg min n γϕ [ ]n { } 2 s∈ℝN [proxγϕ(u)]n = sign (sn) max (|sn| − γ, 0)

近接分離最適化による信号復元 代 表 的な近接分離アルゴリズム 15/42 アルゴリズム 対象とする最適化 問 題 IS T A/F IS TA minimize { f(s) + g(s) } s∈ℝN D o ugl a s - R ac h f ord アルゴリズム minimize { f(s) + g(s) } s∈ℝN ADMM minimize { f(s) + g(z) } s∈ℝN , z∈ℝL subject to Φs = z PDS minimize { f(s) + g(s) + h(Φs) } s∈ℝN

16/42 近接分離最適化による信号復元 I S T A / F IS T A（I te r a t i ve S h r i n k a g e T h re s hold i n g A lgor i t h m/ F a s t IS T A ）[ 4 , 5 ] 対 象とする最 適 化 問 題 minimize { f(s) + g(s) } s∈ℝN 近接写像 proxγg(u) (γ > 0) が 効率的に計算可能 微 分 可 能（＋勾 配がリプシッツ連続 ） ✓ g(s) は微分可能でなくてもよい IST A u (k+1) = s (k) − γ ∇f(s (k)) s (k+1) = proxγg(u (k+1)) γ > 0：パラメータ 加速 (k+1) (k) (k) ∇f u = w − γ w ( ) FI S TA s (k+1) = proxγg(u (k+1)) tk+1 = w (k+1) 1+ 4tk2 + 1 2 =s (k+1) tk − 1 (k+1) + − s (k)) (s tk+1 [4] I. Daubechies, M. Defrise, and C. D. Mol, “An iterative thresholding algorithm for linear inverse problems with a sparsity constraint,” Communications on Pure and Applied Mathematics, vol. 57, no. 11, pp. 1413–1457, 2004. [5] A. Beck and M. Teboulle, “A fast iterative shrinkage-thresholding algorithm for linear inverse problems,” SIAM J. Imaging Sci., vol. 2, no. 1, pp. 183–202, Jan. 2009.

近接分離最適化による信号復元 D ou g l as - Rachfordアルゴリズム[6] 対 象とする最 適 化 問 題 minimize { f(s) + g(s) } s∈ℝN 17/42 近接写像 proxγg(u) (γ > 0) が 効率的に計算可能 近 接写 像 proxγf (u) (γ > 0) が効 率 的に計 算 可 能 ✓ f(s), g(s) は微分可能でなくてもよい ✓ ISTA/FISTAより少ない反復で収束することもある[7] ✓ 信号復元問題では，多くの場合逆行列計算が必要 s (k+1) = proxγg(u (k)) u (k+1) = u (k) + θk(proxγf(2s (k+1) − u (k)) − s (k+1)) γ > 0, θk ∈ (0,2)：パラメータ [6] J. Eckstein and D. P. Bertsekas, “On the Douglas-Rachford splitting method and the proximal point algorithm for maximal monotone operators,” Mathematical Programming, vol. 55, no. 1, pp. 293–318, Apr. 1992. [7] P. L. Combettes and L. E. Glaudin, “Proximal activation of smooth functions in splitting algorithms for convex image recovery,” SIAM J. Imaging Sci., vol. 12, no. 4, pp. 1905–1935, Jan. 2019.

18/42 近接分離最適化による信号復元 A DMM（ A l t ernat in g Dire c t io n Me t ho d o f M u lt iplie r s ）[8] 対 象とする最 適 化 問 題 近接写像 proxγg(u) (γ > 0) が 効率的に計算可能 minimize { f(s) + g(z) } s∈ℝN , z∈ℝL 二 次 関数や0など subject to Φs = z ✓ ISTA/FISTAで解けない問題にも適用可能（なことがある） ✓ 比較的早く最適解付近まで行くことが多い ✓ 信号復元問題では，多くの場合逆行列計算が必要 s (k+1) ρ = arg min f(s) + ∥Φs − z (k) + w (k)∥22 2 { } s∈ℝN z (k+1) = prox ρ1 g( Φs (k+1) + w (k) ) w (k+1) = w (k) + Φs (k+1) − z (k+1) ρ > 0：パラメータ [8] S. Boyd, N. Parikh, E. Chu, B. Peleato, and J. Eckstein, “Distributed optimization and statistical learning via the alternating direction method of multipliers,” Found. Trends Mach. Learn., vol. 3, no. 1, pp. 1–122, Jan. 2011.

近接分離最適化による信号復元 PD S（ P r i ma l D u al S p l i t t i n g ）[9, 対 象とする最 適 化 問 題 minimize { f(s) + g(s) + h(Φs) } s∈ℝN 10] 19/42 近接写像 proxγg(u) (γ > 0) が 効率的に計算可能 近接写像 proxγh(u) (γ > 0) が 微 分可 能 効率的に計算可能 （＋勾配がリプシッツ連 続） ✓ ISTA/FISTAより広いクラスの問題に適用可能 ✓ 逆行列計算は不要 ✓ 収束は遅め s (k+1) = proxγ1g(s (k) − γ1( ∇f(s (k))+Φ⊤u (k))) u (k+1) = proxγ2h*(u (k) + γ2Φ (2s (k+1) − s )) (k) γ1, γ2 > 0：パラメータ h*( ⋅ )： h( ⋅ ) の凸共 役 凸共 役の近 接 写 像 proxγϕ*(u) = u − γprox 1γ ϕ 1 u (γ ) [9] L. Condat, “A primal–dual splitting method for convex optimization involving lipschitzian, proximable and linear composite terms,” Journal of Optimization Theory and Applications, vol. 158, no. 2, pp. 460–479, Aug. 2013. [10] B. C. Vũ, “A splitting algorithm for dual monotone inclusions involving cocoercive operators,” Adv Comput Math, vol. 38, no. 3, pp. 667–681, Apr. 2013.

近接分離最適化による信号復元 例：全変 動正則化を用いた画像復元 20/42 未知の原画像 x ∈ ℝN を 劣化画像 y = Ax + v ∈ ℝM から再構成 y 方針 x̂ { 画像の滑らかさ： 隣接画素間の差分はスパースになってほしい データ忠実性： y − As は（ある意味で）小さくなってほしい 全変動正則化を用いた最適化問題 1 minimize ∥y − As∥22 + λ∥Ds∥1,2 {2 } s∈ℝN 隣 接 画素 値の 差 分をとる行 列 混 合 ℓ1,2 ノルム ✓ ISTA/FISTAでは解けないが，ADMMやPDSは適用可能

近接分離最適化による信号復元 例：B o x 制約を用いた無 線信号検出 21/42 送信シンボルベクトル x ∈ {1, − 1}N を 受信信号ベクトル y = Ax + v ∈ ℝM から推定 方針 { 有界性： s の成分は [−1, 1] に入っていてほしい データ忠実性： y − As は（ある意味で）小さくなってほしい x ∈ {1, − 1}N ⊂ [−1, 1]N なので Box制約 s ∈ [−1, 1]N を用いた最適化問題 1 2 minimize ∥y − As∥ 2} s ∈ [−1, 1]N { 2 ✓ ISTA/FISTA，Douglas-Rachford，ADMMいずれも適用可能

近接分離最適化による信号復元 代 表 的な近接分離アルゴリズム（再掲） アルゴリズム 対象とする最適化 問 題 IS T A/F IS TA minimize { f(s) + g(s) } s∈ℝN D o ugl a s - R ac h f ord アルゴリズム minimize { f(s) + g(s) } s∈ℝN ADMM minimize { f(s) + g(z) } s∈ℝN , z∈ℝL subject to Φs = z PDS minimize { f(s) + g(s) + h(Φs) } s∈ℝN

22/42 近接分離最適化による信号復元 アルゴリズムの設計 ✦ 求めたいものはどのような性質をもっているか？ ✤ データ忠実性，スパース性，低ランク性，非負性，... ✦ 活用したい性質を反映できる関数や制約があるか？ ✤ 残差二乗和，ℓ1 ノルム，核ノルム，非負制約，... ✦ 上記の関数は微分可能or近接写像が効率的に計算可能か？ 最適化問題の設計 最適化アルゴリズムの導出 ✦ 既存の最適化アルゴリズムで解ける形になっているか？ ✤ ISTA/FISTA，Douglas-Rachford，ADMM，PDS，... ✦ 復元精度・計算量・収束速度はどうなるか？

目次 ✦ 信 号 復 元問題 ✦ 近 接 分 離最適化による信号復元 ✦ 最 適 化と機械学習技術の融合 ✤ 深層 展 開 ✤ P lug- and-Pl ay ✤ Cons ensus Equil ibriu m ✦ まとめ

23/42 最適化と機械学習技術の融合 アルゴリズム設 計への機械学習技術の応用 パラメータの設計 正則 化の設計 u (k+1) = s (k)− γ ∇f(s (k)) 1 ∥y − As∥22 + λ g(s) minimize s∈ℝN {2 } s (k+1) = proxγg(u (k+1)) Pl ug -a nd- P la y （ PnP）， C onse nsus E qui libr i um （C E ） 深層展開 入力 y, A … 損失 関数 1 N ∥x̂ − x∥22 学習済み ネットワーク パラメータ 学習 最適 化プロセス

24/42 最適化と機械学習技術の融合 深 層 展 開 | 概要 ✓ 反復アルゴリズムの処理をニューラルネットワークに見立て， 誤差逆伝播法などの技術を用いてアルゴリズムのパラメータを学習 ✦ ISTAベースのアルゴリズムのパラメータを学習させる LISTA（Learned ISTA）[11]をはじめとして，さまざまな問題に応用 処理 A 処理 B 入 力 A B C A B 処理 C 反復アルゴリズム C 損 失 関 数 展開後のネットワーク [11] K. Gregor and Y. LeCun, “Learning fast approximations of sparse coding,” in Proc. the 27th ICML, Jun. 2010, pp. 399–406.

最適化と機械学習技術の融合 深 層 展 開 | 単純なIS TAの例（1/2） ✓ ISTAのパラメータ γ0, γ1, … を学習 25/42 u (k+1) = s (k)− γk ∇f(s (k)) s (k+1) = proxγkg(u (k+1)) 目標 ̂ 0, γ1, …, γK ) が真の値 x に近くなる I ST Aによる復 元 結 果 x(γ パラメータ γ0, γ1, …, γK を求める 基本的な流れ 1. 学習のためのデータ (x1, A1, y1), …, (xB, AB, yB) を用意 xb の推定値 1 B ∥x̂b(γ0, γ1, …, γK ) − xb∥22 2. 損 失 関数を最 小化： minimize } γ0,γ1,…,γK∈ℝ { BN ∑ b=1 = E(γ0, γ1, …, γK ) ∂E パラメータによる微分 を求めるには？ ∂γk

最適化と機械学習技術の融合 深 層 展 開 | 単純なIS TAの例（2/2） 26/42 ✓ アルゴリズムの各反復での更新がパラメータに関して微分可能なら， 誤差逆伝播法でパラメータの値を学習可能 u (1) ∂E ∂γ0 = s − γ0 ∇f(s ) (0) (0) s (1) = proxγ0g(u (1)) ・ ・ ・ ∂E ∂γK−1 u (2) = s (1)− γ1 ∇f(s (1)) ・ ・ ・ x̂ ∂E ∂γK 損失関数 E(γ0, γ1, …) 誤差逆伝播

最適化と機械学習技術の融合 深 層 展 開 | 検討事項 ベースとなるアルゴリズムの選択 学習パラメータの埋め込み方 学習方 法 27/42 ISTA/ FISTA，ADMM ，PD S，... ✦ どのパラメータを学習させるか ✦ どこまで元のアルゴリズムに忠 実にするか ✦ 学習アルゴリズム（確率的 勾 配降下 法 ，RM SPro p，Ada m ，… ） ✦ インクリメンタル学習の有 無 損 失関数の設 計 学習・テスト用データの作 成 ✦ データの分布が既知o r仮定できるなら その分布に従って生成 ✦ そうでなければデータを用意

最適化と機械学習技術の融合 深 層 展 開 | 特徴 28/42 メリット ✦ データに基づいてパラメータを学習できる ✤ アルゴリズムの復元精度や収束速度を改善可能 ✦ アルゴリズムの構造を反映したネットワークを構築できる ✤ 信号の観測モデルや信号に関する事前知識はそのまま使用可能 ✦ 学習結果の解釈がしやすい ✤ 新たな発見があるかも？ 学習率，初期値 ，ミニバッチサイズ，.. . デメリット（？） ✦ 学習時のハイパーパラメータの調整は必要 ✤ Optuna [12]などのツールによってある程度自動的な探索は可能 ✦ 基本的には，問題設定に合わせてその都度学習が必要 [12] T. Akiba, S. Sano, T. Yanase, T. Ohta, and M. Koyama, “Optuna: A next-generation hyperparameter optimization framework,” in Proc. 25th ACM SIGKDD Int. Conf. Knowl. Discov. Data Min., Jul. 2019, pp. 2623–2631.

最適化と機械学習技術の融合 アルゴリズム設計への機械 学習技 術の応用（ 再 掲 ） パラメータの設計 正則 化の設計 u (k+1) = s (k)− γ ∇f(s (k)) 1 ∥y − As∥22 + λ g(s) minimize s∈ℝN {2 } s (k+1) = proxγg(u (k+1)) Pl ug -a nd- P la y （ PnP）， C onse nsus E qui libr i um （C E ） 深層展開 入力 y, A … 損失 関数 1 N ∥x̂ − x∥22 学習済み ネットワーク パラメータ 学習 最適 化プロセス

29/42 最適化と機械学習技術の融合 Pn P | 概 要 ✓ 近接分離アルゴリズム中の近接写像を 形式的にノイズ除去に置き換える画像復元のアプローチ ✦ ADMMをベースとしたPnP-ADMM [13]の提案以降， さまざまな画像復元アルゴリズムに適用 処理 A 処理 B 処理 C 近接分離アルゴリズム 処理 A 学習済み ノイズ除去 ネットワーク 処理 C PnP [13] S. V. Venkatakrishnan, C. A. Bouman, and B. Wohlberg, “Plug-and-play priors for model based reconstruction,” in Proc. IEEE GlobalSIP, Dec. 2013, pp. 945–948.

最適化と機械学習技術の融合 Pn P | P n P -AD M Mの導出 30/42 ✓ 仮の正則化関数 R(s) を導入し，その近接写像をノイズ除去に置き換える 1 minimize { ∥y − As∥22 + λR(s) } 2 s∈ℝN 仮の正 則 化 （きれいな画 像 s → R(s)：小） ADM Mの更 新 式 s (k+1) 1 ρ 2 ∥y − As∥2 + ∥s − z (k) + w (k)∥22 = arg min 2 {2 } s∈ℝN z (k+1) ρ (k+1) = arg min λR(z) + ∥s − z + w (k)∥22 2 { } z∈ℝL = prox ρλ R( s (k+1) + w (k) ) w (k+1) = w (k) + s (k+1) − z (k+1)

31/42 最適化と機械学習技術の融合 Pn P | P n P -AD M Mの導出 ✓ 仮の正則化関数 R(s) を導入し，その近接写像をノイズ除去に置き換える 1 minimize { ∥y − As∥22 + λR(s) } 2 s∈ℝN ADM Mの更 新 式 s (k+1) 仮の正 則 化 （きれいな画 像 s → R(s)：小） ✦ きれいな画像（ R(z) が小さい）z で ✦ s (k+1) + w (k) に近いもの 1 ρを求める処理 → 2 (k) (k) 2s (k+1) + w (k) のノイズ除去 ∥y − As∥2 + ∥s − z + w ∥2 = arg min 2 {2 } s∈ℝN ρ (k+1) (k+1) z = arg min λR(z) + ∥s − z + w (k)∥22 2 { } z∈ℝL = prox ρλ R( s (k+1) + w (k) ) ✦ DnCN N [1 4] ✦ FF DNet [ 15 ] など z (k+1) = D ρλ ( s (k+1) + w (k) ) w (k+1) = w (k) + s (k+1) − z (k+1) ノイズ除 去 D ρλ ( ⋅ ) に 置き換え [14] K. Zhang, W. Zuo, Y. Chen, D. Meng, and L. Zhang, “Beyond a Gaussian denoiser: Residual learning of deep CNN for image denoising,” IEEE Trans. Image Process., vol. 26, no. 7, pp. 3142–3155, Jul. 2017. [15] Y. Zhang, Q. Fan, F. Bao, Y. Liu, and C. Zhang, “Single-image super-resolution based on rational fractal interpolation,” IEEE Trans. Image Process., vol. 27, no. 8, pp. 3782–3797, Aug. 2018.

32/42 最適化と機械学習技術の融合 PnP | 画像 復元 結果とP SN R（Pe ak Signal to Nois e Ratio） ✓ 全変動正則化を用いた画像復元よりも良い復元結果を得られる U . S. K a m i l o v, C . A. B ou m a n, G . T. Buzz ard, an d B. Woh lbe rg, “Plu g-an dp l ay m et ho d s f o r in t eg r a t in g p hy sic a l an d le ar n e d mode ls in compu tation al i m ag i n g : T h e o r y, a lg or i t hm s, a nd a pp lication s,” I EEE S ign al Proce ssin g M a ga z i n e , v o l . 4 0 , no . 1, p p. 8 5– 97 , Jan . 2 0 2 3 . を参照

• https://ieeexplore.ieee.org/abstract/document/10004791

最適化と機械学習技術の融合 Pn P | 収 束性 33/42 ✓ 収束性の証明は一般には難しい → 様々な仮定をおいて検討 例 ✦ ノイズ除去がbounded denoiserである場合の PnP-ADMMの（固定点への）収束 [16] ✦ 各反復が縮小写像となるようなノイズ除去を用いる場合の収束 [17] ✦ ノイズ除去が線形関数の場合のPnP-ISTAの収束 [18] ✦ ノイズ除去がMMSE（Minimum Mean Squared Error）関数の場合の PnP-ISTAの収束 [19] [16] S. H. Chan, X. Wang, and O. A. Elgendy, “Plug-and-play ADMM for image restoration: fixed-point convergence and applications,” IEEE Trans. Comput. Imaging, vol. 3, no. 1, pp. 84–98, Mar. 2017. [17] E. Ryu, J. Liu, S. Wang, X. Chen, Z. Wang, and W. Yin, “Plug-and-play methods provably converge with properly trained denoisers,” in Proc. the 36th ICML, May 2019, pp. 5546–5557. [18] R. G. Gavaskar and K. N. Chaudhury,“Plug-and-play ISTA converges with kernel denoisers,” IEEE Signal Process. Lett., vol. 27, pp. 610–614, 2020. [19] X. Xu, Y. Sun, J. Liu, B. Wohlberg, and U. S. Kamilov, “Provable convergence of plug-and-play priors with MMSE denoisers,” IEEE Signal Process. Lett., vol. 27, pp. 1280–1284, 2020.

最適化と機械学習技術の融合 Pn P | 特 徴 メリット ✦ 人手で正則化項を設計する代わりに， 機械学習を用いた強力なノイズ除去を使える ✤ 適切な正則化を設計しにくい複雑な信号の復元に有効 ✦ 信号の観測モデルに関する知見は，データ忠実性の項で利用可能 ✦ 既存の（学習済みの）ノイズ除去をそのまま使えばよいので， 復元問題に合わせて学習をする必要はない デメリット ✦ アルゴリズムのパラメータの設定は必要 ✤ 特に，ノイズ除去の強さによって結果が大きく異なる ✦ 収束性の証明は一般には難しい ✦ どのような最適化問題に対応しているのかが不明瞭 34/42

35/42 最適化と機械学習技術の融合 CE | PnPによる復 元結果の解釈 ✓ PnPでは最適化アルゴリズムの一部を 形式的にノイズ除去に置き換えている → 結局どのような復元結果を求めているのかは不明瞭 ✦ Plug-and-Pray？ 最適解 PnP 凸最適 化アルゴリズム ？ C E（ Con s en s us Equ il ib r iu m）[ 2 0 ] による解釈 [20] G. T. Buzzard, S. H. Chan, S. Sreehari, and C. A. Bouman, “Plug-and-play unplugged: Optimization-free reconstruction using consensus equilibrium,” SIAM J. Imaging Sci., vol. 11, no. 3, pp. 2001–2020, Jan. 2018.

36/42 最適化と機械学習技術の融合 CE | 最 適化 問 題と対応する方程式 ✓ 最適化問題の解を，複数の方程式を使って特徴づけ 1 1 f1(s) + f2(s) s* = arg min {2 } 2 s∈ℝN 一 般 化も可 能 s* = arg min s∈ℝN {∑ J j=1 μj fj(s) } (μ1 + ⋯ + μJ = 1) ) = s* ( j = 1, 2) 合 意（ C ons e n s us ） ： proxγfj(s* + u* j 1 1 + u* =0 平 衡（ E q u il ib r iu m） ： u* 1 2 2 2 s* + u* 2 proxγf1( ⋅ ) s* + u* 1 s* proxγf2( ⋅ )

37/42 最適化と機械学習技術の融合 CE | 近 接写 像の置き換え ✓ PnPと同様に，近接写像を置き換える ) = s* ( j = 1, 2) 合 意（ C ons e n s us ） ： proxγfj(s* + u* j 1 1 + u* =0 平 衡（ E q u i l ib r iu m） ： u* 1 2 2 2 CEで求めるもの： P n Pよりは直 接的に解釈 可 能 ) = s* ( j = 1, 2) 合 意（ C ons e n s us ） ： Fj (s* + u* j 1 1 + u* =0 平 衡（ E q u i l ib r iu m） ： u* 1 2 2 2 観測データの情 報の反映や ノイズ除去に対 応 s* + u* 2 F1( ⋅ ) s* + u* 1 s* F2( ⋅ )

38/42 最適化と機械学習技術の融合 CE | 方 程式の変 形 = s* + u* ① z* とおく j j Fj (z* ) = s* j ) = s* ( j = 1, 2) 合 意（Co ns e ns u s ） ： Fj (s* + u* j 1 1 + u* =0 平 衡（E q u i li b r i u m ） ： u* 1 2 2 2 ②両 辺に s* を加える 1 1 z* + z* = s* 1 2 2 2 1 1 Fj (z* ) = z* + z* j 1 2 2 2 , z* で書き換え ③ s* を z* 1 2 F1(z* 1) = [F2(z* ] 2) z* 1 z* = ( [z* ]) F(z*) 2 1 z* 2 1 1 z* 2 1 + + 1 z* 2 2 1 z* 2 2 G(z*) F(z*) = G(z*)

39/42 最適化と機械学習技術の融合 CE | 解の求め方 ✓ 方程式を変形し，反復法で解を求める 合 意（Co ns e n s u s ） ： F(z*) = G(z*) 1 1 + z* = s* 平 衡（E q u i li br i u m ） ： z* 1 2 2 2 1. F(z*) = G(z*) をみたす z* を求める F1(z* 1) = [F2(z* ] 2) F(z*) 1 z* 2 1 1 z* 2 1 z* 1 z* = [z* ] ( 2 ) + 12 z* 2 + 12 z* 2 G(z*) F(z*) = G(z*) ⇔ T(z*) = z* （ T = (2G − I)(2F − I)，I ：恒等写像） 写像 T が非 拡 大で固 定 点をもてば，Ma nn ite ration z (k+1) = (1 − ρ) z (k) + ρT (z (k)) で固 定点が求まる（ ρ ∈ (0,1)：パラメータ） 1 1 2. s* = z* として s* を求める + z* 1 2 2 2

最適化と機械学習技術の融合 CE | ノイズ除 去結果とPSNR 40/42 ✓ 異なる標準偏差のノイズに対応する複数のノイズ除去をCEで組み込むと 特性が改善 G . T. B u zz ard, S . H. Ch an , S . S re e h ari, a nd C. A. Bouma n, “ Plug-a nd-pla y un p lu gg e d: O pt i m i za ti on - fre e re c on str uction using consens us equilibrium, ” SI A M J. Im agi n g S ci . , v ol . 1 1 , n o. 3 , pp. 2001–2020, Ja n. 2018. を参照

• https://epubs.siam.org/doi/10.1137/17M1122451

目次 ✦ 信 号 復 元問題 ✦ 近 接 分 離最適化による信号復元 ✦ 最 適 化と機 械学習技術の融合 ✤ 深層 展 開 ✤ P lug- and-Pl ay ✤ Cons ensus Equil ibriu m ✦ まとめ

41/42 解 説 論 文などの紹 介 近 接分離アルゴリズム ✤ P. L. Comb ettes and J.-C. Pesquet, “Proximal splitting methods in signal processing ,” in Fixed-Point Algorithms for Inverse Problems in Science and Engi neering, 2011. ✤ 小野 峻佑, “近接分離アル リ ムとその応用 ―信号処理・画像処理的観点から― ,” オ レー ション ・リサーチ, 2019. 深 層展開 ✤ 和田山 正, 高邉 賢 史, “深層 展開に基 く信号 処 理アル リ ムの設 計 , ” 電 子 情 報 通 信 学 会 基 礎・境 界ソサイエティ Fu nd a me n t a l s R ev i e w , 2 0 2 0 . ✤ V. Mo n ga, Y. Li , a n d Y. C . E l d a r , “Al g o r i th m u n r o l l i n g: I n te r p r e ta b l e , e ffi c i e n t de e p lea r ni ng f or si gn a l a n d i ma g e pr o c e ss i n g, ” I E E E SP M a g a z i n e , 2 0 2 1 . Pl ug- an d - P l a y , C o n s e n s u s E qui l i br i um ✤ U. S . K ami lov, C. A. Bouman, G. T. Bu zzar d, and B. Wohlberg, “Plug-and-play method s for integ rating physical and lear ne d models in computational ペ ズ ゴ づ ズ ゴ ズ imaging : Theory, algorithms, and appl ications,” IEEE SP Magazine, 2023.

• https://link.springer.com/chapter/10.1007/978-1-4419-9569-8_10
• https://orsj.org/wp-content/corsj/or64-6/or64_6_316.pdf
• https://www.jstage.jst.go.jp/article/essfr/14/1/14_60/_article/-char/ja
• https://ieeexplore.ieee.org/document/9363511
• https://ieeexplore.ieee.org/document/10004791

42/42 まとめ ✓ 近接分離アルゴリズムに基づく信号復元と機械学習技術を 組み合わせるアプローチを紹介 → 汎用性や解釈性をある程度保ちつつ，復元精度や収束速度を改善 深 層展 開：パラメータの学習 入力 y, A パラメータ … PnP・C E：ノイズ除 去の組み込み 損失 関数 1 N ∥x̂ − x∥22 学習済み ネットワーク 学習 最適 化プロセス