【DL輪読会】Improving and generalizing flow-based generative models with minibatch optimal transport

4.1K Views

September 15, 23

スライド概要

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

DEEP LEARNING JP [DL Papers] 論文紹介: Improving and generalizing flow-based generative models with minibatch optimal transport Ryosuke Ohashi, bestat Inc. http://deeplearning.jp/

2.

書誌情報 arXiv プレプリント 概要:CNF(Continuous Normalizing Flow)に基づく生成モデルをより安定して訓練&高速に 推論できる新手法”OT-CFM(Optimal Transport Conditional Flow Matching)”を提案 選定理由:前回紹介した”Flow Matching”の後続研究,今後拡散モデルより使われるかも? 2

3.

背景:CNF CNF (Continuous Normalizing Flow) [Chen et al. 2018] 確率分布p0から確率分布p1への滑らかな変換を与えるフローのこと (時刻tに依存するベクトル場vtで,時刻0から1までvtに沿って確率密度p0 を流していくとp1になるようなもののこと) [Lipman et al. 2023]より引用 p0 ここでΦtは時刻0からtまで流したときの空間の座標変換: 3

4.

背景:拡散モデルとの関係 拡散モデルの決定論版は p0 = ガウス分布 p1 = 生成したいデータ分布 とするCNFの例になっており, - Score Matching [Song et al. 2020] - Flow Matching [Lipman et al. 2023] などのアルゴリズムで訓練できることが知られている

5.

背景:Flow Matching Flow Matching [Lipman et al. 2023] p0とp1を結ぶCNF utが与えられたとき,その近似をニューラルネットvtで表 して最適化により求める: 5

6.

背景:Conditional Flow Matching Conditional Flow Matching [Lipman et al. 2023] p0 = ガウス分布 p1 = 生成したいデータ分布(を代表するサンプル群) が与えられたとき,適当な条件付き確率とそれに対応する条件 付きフローを使ってCNFを構築すると,その近似をflow matchingの変種で求めることが出来る 6

7.

背景:Conditional Flow Matching C をみたす条件付き確率の列 次 る を考え (σは適当な小さい定数) p1の境界化を考える [Lipman et al. 2023]より引用 7

8.

背景:Conditional Flow Matching を生成するフロー は,実は を使って定めたベクトル場 を生成するCNFになっている([Lipman et al. 2023] 定理1) さらに,以下の目的関数の最適解はflow matchingの解と一致する ([Lipman et al. 2023] 定理2) 8

9.

背景:Conditional Flow Matching の取り方によって... - DDPMやNCSNなどの拡散モデルの決定論版と同一のCNFを構築可能 - 最適輸送を与える を使うと,上記より安定して訓練可能&より荒 い積分近似でサンプリングできるCNFを構築できる [Lipman et al. 2023]より引用 9

10.

OT-CFM ではなく 自体を最適輸送にできたらもっと良くならないか? ⇒論文著者らは,このようなCFMの構築&訓練方法を作り,実験的に以前 のflow matchingよりも安定した訓練が可能&さらに荒い積分近似でサンプリ ングが可能なことを示した 10

11.

OT-CFM 実はCFMの構成は任意の潜在変数空間に対して適用できる: zを潜在変数として と定めると,ptはutで生成されるCNFになっている 11

12.

OT-CFM 定理(論文のProp. 3.4.) をq(x0)からq(x1)への2-Wasserstein最適輸送解とする: このとき, として構築したCFMに対して以下が成り立つ: 1) p0, p1はそれぞれq0, q1に分散σ^2のガウス分布を畳み込んだものになっている 2) (q0, q1, πに対する適当な仮定の下で)σ→0の極限で,pt, utは2-Wasserstein最適輸 送解の動的形式を与える: & p0=q0, p1=q1, utはptを生成 12

13.

実験結果 2次元空間上の確率分布を用いて,OT-CFMと,単にq(z)=q(x0)q(x1) とした場合とを比較 OT-CFM(右図)のほうが無駄のない直線的なフロー軌跡になって おり,実際より荒い積分近似でもサンプリング誤差が小さいこと を確認している 13

14.

まとめ・感想 まとめ - CNFをより安定して訓練・高速にサンプリングできる新手法”OT-CFM”を提案 感想 - 実装上はFlow Matchingにちょっと変更を加えるだけで,ずっと高速にサンプリングでき るCNFを構築できるところが面白かった - 画像の潜在空間への応用でも上手くいくかとかが気になる 文献 [Chen et al. 2018] Neural Ordinary Differential Equations [Song et al. 2020] Score-Based Generative Modeling through Stochastic Differential Equations [Lipman et al. 2023] Flow Matching for Generative Modeling 14