---
title: 【論文サーベイ】Survey on Identity Generation
tags: 
author: [tf63](https://www.docswell.com/user/8590143908)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/L713Y39KEG.jpg?width=480
description: 【論文サーベイ】Survey on Identity Generation by tf63
published: January 13, 25
canonical: https://www.docswell.com/s/8590143908/KN1X1E-2025-01-13-113147
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/L713Y39KEG.jpg)

Survey on Identity Generation
IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models
H. Ye, J. Zhang, S. Liu, X. Han, W. Yang [arxiv’23]
AnyDoor: Zero-shot Object-level Image Customization
X. Chen, L. Huang, Y. Liu, Y. Shen, D. Zhao, H. Zhao [CVPR’24]


# Page. 2

![Page Image](https://bcdn.docswell.com/page/G7WPGPQPE2.jpg)

Background — Identity Generation (Subject-driven Generation)
Identity
Textual Inversion (TI) [R. Gal+]
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/4JZKLKW6J3.jpg)

Background — Identity Generation (Subject-driven Generation)
Identityごとにチューニングする手法
e.g. Textual Inversion, DreamBooth
-
学習コストは小さいが，Identityごとのチューニングが必要
-
分布外のIdentityでも生成できる / Identityの忠実度が高い
Identityごとにチューニングしない手法 (img2imgの事前学習)
-
事前学習のコストは大きいが，Identityごとのチューニングが不要
-
分布外のIdentityでは生成品質が悪い
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/YE6QWQGLEV.jpg)

IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models
H. Ye, J. Zhang, S. Liu, X. Han, W. Yang [arxiv’23]
-
Identityは1 wordでは表現しきれない (Textual Inversionでは表現しきれない)
-
Identityをlightweight adapterで表現する
Identity
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/GE5RMRVMJ4.jpg)

Preliminaries — Latent Diffusion
Cross-Attentionによって条件付けする
https://mohammadahmadig.github.io/presentations/presentation-01
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/972D9D3R7R.jpg)

Method — IP Adapter
Image Encoderの出力を学習可能なモジュール (IP Adapter) で補正する
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/DJY24215JM.jpg)

Method — Decoupled Cross-Attention
Cross-Attentionを Image / Text Condition 向けに分離する
Text-Condition
Image-Condition
🔥
: Text Embedding
: Image Embedding
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/V7N8Y824E8.jpg)

Method — Scaling image condition
Cross-Attentionを Image / Text Condition 向けに分離する
Text-Condition
Image-Condition
Image Conditionの影響度をスケールできる
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/YJ9KPK14J3.jpg)

Experiments
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/GJ8RDR4V7D.jpg)

Experiments
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/LJLKMK6R7R.jpg)

AnyDoor: Zero-shot Object-level Image Customization
X. Chen, L. Huang, Y. Liu, Y. Shen, D. Zhao, H. Zhao [CVPR’24]
Scene, Location, Target (Identity) から
画像を合成する
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/47M2Y25P7W.jpg)

Method — Overall pipeline
(上側) detailに関連する特徴を抽出する
(下側) Identityに関連する特徴を抽出する
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/P7RM9M3YJ9.jpg)

Method — Identity Feature Extraction
従来手法の多くはCLIPでIdentityを抽出するが，CLIPは背景情報の影響を受けやすい
-
Segmentor で背景を除去する
-
事前学習した自己教師モデル (e.g. DINOv2) で Identity を抽出する
global token
-
と patch token
の組
projection layerを通じて 16x16 のテンソルにするにする
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/PJXVQV44EX.jpg)

Method — Detail Feature Extraction
背景を除去した Identity を Location に配置することで，効果的に Detail を抽出できる
しかし，直接配置すると生成多様性を失うため，画像の高周波成分だけを配置
は Sobel Kernel
は Eroded Mask
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/3JKQ9QZPJD.jpg)

Method — Data preparation
Video, 3Dオブジェクト のデータセットから2フレーム切り出して使う
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/LE3PWPD4J5.jpg)

Experiment
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/8EDLKLP5JG.jpg)

Experiment
17


