---
title: 【論文サーベイ】Extracting visual concepts from Large Diffusion Models
tags: 
author: [tf63](https://www.docswell.com/user/8590143908)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/K742KVRZJ1.jpg?width=480
description: 【論文サーベイ】Extracting visual concepts from Large Diffusion Models by tf63
published: December 07, 23
canonical: https://www.docswell.com/s/8590143908/ZNR2LV-2023-12-07-193849
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/K742KVRZJ1.jpg)

Extracting visual concepts from Large Diffusion Models
An Image is Worth One Word: Personalizing Text-to-Image Generation
using Textual Inversion
R. Gal, Y. Alaluf, Y. Atzmon, O. patashnik, A. H. Bermano, G. Chechik, D. Cohen-Or [ICLR’23]
DreamBooth: Fine Tuning Text-to-Image Diffusion Models for
Subject-Driven Generation
N. Ruiz, Y. Li, V. Jampani, Y. Pritch, M. Rubinstein, K. Aberman [CVPR’23]
Multiresolution Textual Inversion
G. Daras, A. G. Dimakis [NeurIPS’22 workshop]
Encoder-based Domain Tuning for Fast Personalization of
Text-to-Image Models
R. Gal, M. Arar, Y. Atzmon, A. H. Bermano, G. Chechik, D. Cohen-Or [arxiv’23]
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/LJ1MX3QDEG.jpg)

An Image is Worth One Word: Personalizing Text-to-Image Generation
using Textual Inversion
R. Gal, Y. Alaluf, Y. Atzmon, O. patashnik, A. H. Bermano, G. Chechik, D. Cohen-Or [ICLR’23]
Keywords: Textual Inversion
-
4~5枚の画像からコンセプト
を抽出
をプロンプトに組み込んで画像生成が可能
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/GJW3NPM8J2.jpg)

アーキテクチャ
Stable DiffusionのベースでもあるLDM [R. Rombach] を使用
textを
でエンコードしてネットワークに入力する
https://openaccess.thecvf.com/content/CVPR2022/html/Rombach_HighResolution_Image_Synthesis_With_Latent_Diffusion_Models_CVPR_2022_paper.html
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/4EZV3KQ9J3.jpg)

手法
コンセプトを
とおいて埋め込み表現
モデルを固定して
に変換する
で最適化
(この式自体はLDMの目的関数)
↳
のこと
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/Y765XQ6DEV.jpg)

結果 : コンセプト抽出
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/G75YXR6874.jpg)

結果 : スタイル抽出
限界 : コンセプト画像が3 ~ 5枚必要
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/9J2GXDMVJR.jpg)

DreamBooth: Fine Tuning Text-to-Image Diffusion Models for
Subject-Driven Generation
N. Ruiz, Y. Li, V. Jampani, Y. Pritch, M. Rubinstein, K. Aberman [CVPR’23]
-
Text-to-Imageモデルのtext encoderを
ファインチューニングすることでパーソナライズする手法
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/DEYV82XQEM.jpg)

手法
プロンプト
プロンプトを
の形で与える
クラスを表す名詞
Textual Inversionでは存在しないtokenにコンセプトを割り当てていたが，
提案手法ではText Encoderの辞書の中からrare-tokenを探索して使う
rare-tokenにはLanguage ModelとDiffusion Modelのweak priorがあるので，
最適化が上手くいきやすい
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/VJNMQ81278.jpg)

手法
rare-tokenの抽出
: tokenizer
: decoded text
tokenをランダムにサンプリング
tokenはT5-XXL tokenizerの { 5000, …, 10000} の範囲からサンプリング
de-tokenizerに入れると3文字程度のUnicode charachterに対応する
論文中では
予め3文字程度のUnicode characterを用意しておいて使っても問題ない
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/YE9NDK5DE3.jpg)

手法
ファインチューニング
reconstruction loss
textからinput imagesを生成できるか
class-specific prior preservation loss
の導入による影響が無いか
に対応
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/GE8K3RY57D.jpg)

結果
input imagesから花瓶を
取り出せている
一般的なPCでも実験できそう
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/LELZVK43JR.jpg)

Multiresolution Textual Inversion
G. Daras, A. G. Dimakis [NeurIPS’22 workshop]
-
コンセプトをどれだけ抽出するかを調整可能
-
3種類のサンプリング手法を提案
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/4JMVG2KMJW.jpg)

手法
textual inversion
multiresolution textual inversion
-
テキスト埋め込みを
-
さらに，埋め込みをDiffusionの時間依存の形に変形
-
に分解する
を最適化する
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/PJR2ZMXLE9.jpg)

モチベーション
なぜ上手く行くのか
ノイズ 少
多
ノイズの量が少ないとき
text conditionは画像の細かい情報 (テクスチャ，毛並みなど) に働く
ノイズの量が多いとき
text conditionは画像の大域的な情報 (物体のクラスなど) に働く
を選ぶことでtext conditionをコントロールできる
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/PEXD9VM67X.jpg)

サンプリング手法
1. Fixed Resolution Sampling
全ての時刻で
を使う
2. Semi Resolution-Dependent Sampling
よりも大きい時刻で
を使い
それ以外のときはunconditional
3. Fully Resolution-Dependent Sampling
よりも大きい時刻で
それ以外のときは
を使い


# Page. 16

![Page Image](https://bcdn.docswell.com/page/3EKXPQGG7D.jpg)

Encoder-based Domain Tuning for Fast Personalization of
Text-to-Image Models
R. Gal, M. Arar, Y. Atzmon, A. H. Bermano, G. Chechik, D. Cohen-Or [arxiv’23]
1枚の画像から1分程度でコンセプトを抽出 (from stable diffusion)
長いので次回紹介します
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/L735XPN5E5.jpg)

まとめ
-
Textual Inversion系の手法は入力画像を
Diffusionの潜在変数ではなく解釈可能な text表現 に変換できる
-
SDEdit系の手法よりも生成の自由度が高そう
-
当たり前ではあるがtext encoderをfine-tuningした方が性能は良い
-
計算コストはそこまで大きく無さそう
17


