---
title: 【論文紹介】High-Resolution Image Synthesis with Latent Diffusion Models
tags: 
author: [tf63](https://www.docswell.com/user/8590143908)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/KJ428ZZ3E1.jpg?width=480
description: 【論文紹介】High-Resolution Image Synthesis with Latent Diffusion Models by tf63
published: October 25, 23
canonical: https://www.docswell.com/s/8590143908/58G6M7-2023-10-25-145318
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/KJ428ZZ3E1.jpg)

High-Resolution Image Synthesis with Latent Diffusion Models
被引用数： 387
（CVPR 2022）Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Bjorn Ommer
https://arxiv.org/abs/2112.10752
どんなもの？
･ Diffusion Modelの訓練を高速化する手法
Latent Diffusion Model (LDM)
･ 事前に強力なオートエンコーダを学習させる
･ オートエンコーダの潜在空間で拡散モデルを学習させる
･ エンコーダで特徴マップのサイズを小さくすることで訓練を高速化
先行研究と比べて何がすごい？
･ 解像度の大きい画像に対しても，Diffusion Modelの訓練時間があまり大きく
ならない
･ 条件付けのためのアーキテクチャが汎用的で，様々なタスクに容易に適用
可能
･ Diffusion Modelをクロスアテンションで条件付けしているのも初
技術の手法や肝は？
Two-Stage Image Synthesis
･First: 知覚的に重要な部分を大まかに表現
･Second: オブジェクトのdetailまで表現
･知覚的に重要でない部分に表現力を割かずに済む
general-purpose conditioning mechanism
･ マルチモーダル学習が可能
･ class-condition, text-to-image, layout-to-imageに使っている
どうやって有効だと検証した？
class-conditional image synthesisとinpaintingのタスクでSOTAを達成
･ タスク: 画像生成(text-to-image, layout-to-image)/Super-resolution/Inpainting
･ データセット: CelebAHQ, FFHQ, LSUN-Churches, beds, ImageNet, (256x256)
･ 評価指標: FID, IS
1
･ 比較手法: DDPM, ADM, BigGAN-deep/SR3/LaMa など
2023/02/01


# Page. 2

![Page Image](https://bcdn.docswell.com/page/LE1M2RRZ7G.jpg)

どんなもの?
Two-Stage Image Synthesis
-
尤度ベースのモデルの学習は大きく2段階に分け
られる
First Stage (AutoEncoderの部分)
-
知覚的に重要な部分を大まかに表現
Second Stage (Latent Diffusion Modelの部分)
-
より細かな特徴を表現する
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/GEW3R116E2.jpg)

どんなもの?
Latent Diffusion Model
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/47ZVRPPRE3.jpg)

どんなもの?
Conditioning Mechanism
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/YJ65RMM17V.jpg)

どうやって有効だと検証した?
サンプリング
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/GJ5Y8ZZLJ4.jpg)

どうやって有効だと検証した?
どのくらいの学習時間 ?
-
ADMに比べて訓練を4倍高速化
-
パラメータ数も半分
-
ADMはV100一枚で116日
-
提案手法は29日 ?
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/LE35899DJ5.jpg)

どうやって有効だと検証した?
text-to-image
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/8EDDMGG2EG.jpg)

どうやって有効だと検証した?
Image super-resolution
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/V7PXR33LE8.jpg)

どうやって有効だと検証した?
Inpainting
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/2JVLR4467Q.jpg)

どうやって有効だと検証した?
Layout to Image
semantic synthesis
10


