---
title: 【論文サーベイ】Data Augmentation With Diffusion Models
tags: 
author: [tf63](https://www.docswell.com/user/8590143908)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/YE9N8L8ZE3.jpg?width=480
description: 【論文サーベイ】Data Augmentation With Diffusion Models by tf63
published: October 25, 23
canonical: https://www.docswell.com/s/8590143908/5YWQM4-2023-10-25-145152
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/YE9N8L8ZE3.jpg)

Data Augmentation with Diffusion Models
Overview
- Diffusion Modelを使ったデータ拡張手法
Motivation
- 少数データから識別器を学習させたい
- 大規模Diffusion Modelの生成画像は転移学習に利用できる ?
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/GE8K8XZY7D.jpg)

Data Augmentation with Diffusion Models
Is synthetic data from generative models ready for image recognition?
R. He, S. Sun, X. Yu, C. Xue, W. Zhang, P. Torr, S. Bai, X. QI [ICLR’23]
AN IMAGE IS WORTH ONE WORD: PERSONALIZING TEXT-TO-IMAGE
GENERATION USING TEXTUAL INVERSION
R. Gal, Y. Alaluf, Y. Atzmon, O. patashnik, A. H. Bermano, G. Chechik, D. Cohen-Or [ICLR’23]
Effective Data Augmentation With Diffusion Models
B. Trabucco, K. Doherty, M. Gurinas, R. Salakhutdinov [arxiv’23]
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/LELZR8D9JR.jpg)

Is synthetic data from generative models ready for image recognition?
R. He, S. Sun, X. Yu, C. Xue, W. Zhang, P. Torr, S. Bai, X. QI [ICLR’23]
Motivation
- 識別タスクにおけるzero-shot, few-shotの実験設定を
Diffusion Modelの生成画像で補填したい
Novelty
-
従来のGANを使った手法は小規模で限定的であったが，
-
text-to-imageの生成によって様々な識別タスクへの応用が可能
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/4JMVR6PVJW.jpg)

Method: text-to-imageの生成によるデータ拡張手法
Basic strategy (B)
-
ラベルをプロンプトとする
(例
Language Enhancement (LE)
-
ラベルからプロンプトをword-to-sentenceモデルで生成
-> 生成の多様性を確保 (例
CLIP Filter strategy (CF)
-
CLIPのconfidenceスコアが低い生成画像を取り除く
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/PJR2RP1WE9.jpg)

生成したデータをどのように使う? -> CLIPのチューニング
Method: Classifier Tuning [Wortsman+, 2022]
-
k-クラス分類の問題で
-
プロンプトを生成し
-
CLIPのtext-encoderに入力
-
識別器の重み
-
固定のimage-encoderと合わせて
識別器
を構築する
を得る
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/PEXDR3YV7X.jpg)

Experience (zero-shot)
Setup
-
17のデータセットで実験
-
1クラスにつき2000枚の画像を生成
-
1クラスにつき200個のプロンプトを生成 (LE)
-
ablationで最も良かったLE + CF + (SCE)を採用
Model
-
GLIDE (Diffusion Model),
CLIP-RN50, CLIP-ViT-B/16
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/3EKXRY357D.jpg)

Result (zero-shot)
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/L73589G1E5.jpg)

AN IMAGE IS WORTH ONE WORD: PERSONALIZING TEXT-TO-IMAGE
GENERATION USING TEXTUAL INVERSION
R. Gal, Y. Alaluf, Y. Atzmon, O. patashnik, A. H. Bermano, G. Chechik, D. Cohen-Or [ICLR’23]
Method: Textual Inversion
-
4~5枚の画像からコンセプト
を抽出
をプロンプトに組み込んで画像生成が可能
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/87DDMG1K7G.jpg)

Effective Data Augmentation With Diffusion Models
B. Trabucco, K. Doherty, M. Gurinas, R. Salakhutdinov [arxiv’23]
Motivation
-
回転や反転によるデータ拡張はセマンティクスを無視している
-
画像変換でセマンティクスを保持したデータ拡張がしたい
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/VJPXR3Q378.jpg)

Effective Data Augmentation With Diffusion Models
B. Trabucco, K. Doherty, M. Gurinas, R. Salakhutdinov [arxiv’23]
Novelty: セマンティクスを維持した画像変換手法を提案
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/2EVLR45NJQ.jpg)

Method
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/57GXM165EL.jpg)

Result
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/4EQ8RD4LJP.jpg)

まとめ
-
zero-shot, few-shotの環境下でDiffusion Modelの生成画像は有効
-
text-to-imageの生成モデルのおかげで多様なデータ拡張が可能
課題
-
プロンプトをどうやって用意する?
-
生成画像を利用するのは本当に適切?
13