図解Vision transformerの処理

図解 Vision transformerの処理 公⽴⼩松⼤学 藤⽥ ⼀寿 Ver. 20230907 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scaleの図解

Vision transformer (ViT)の特徴 • 画像識別のためのニューラルネットワークのモデル(アーキテクチャ)である． • 画像識別タスクでよく使われている畳み込みを使わない． • 畳み込みが無い⽅が良いかどうかはタスクによるだろう． • 画像をパッチ（⼩さい画像）に分けて処理する． • それぞれのパッチは同じネットワークで処理される． • すべてのパッチが同じネットワークに⼊るため，パッチの位置情報は消失する． • 顔画像の場合，⽬の部分がパッチとして切り出されたとすると，その⽬のパッチは⿐の上にある．しかし， ViTは⽬が⿐の上にあるという情報は使えない． • しかし，パッチの位置情報は画像識別で重要なためViTではPosition embeddingsを導⼊することでパッチの 位置情報を取り込む． • パッチ数が増減してもネットワークの構造を変える必要がないため，パッチ数に制限ない． • ただし，position embeddingsを学習可能にするとパッチ数を可変に出来ない．しかし，ViTの著者は position embeddingsの値を補完することで対応している． • パッチ数に制限はないため，ViTに⼊⼒する画像のサイズに制限はない（メモリが許す限り）． • 同じネットワークで様々なサイズの画像サイズを扱える．

Vision Transformerの処理の概要 • 画像をパッチ（⼩さな画像）に分ける． • パッチからEmbeddingsを得る． • Transformer EncoderにEmbeddingsを⼊⼒する． Published as a conference paper at ICLR 2021 • CLS embeddingを多層パーセプトロンに⼊⼒する． Vision Tr ansfor mer (ViT) Tr ansfor mer Encoder Lx Class Bird Ball Car ... MLP Head + MLP Norm Transformer Encoder + 0 * Extra learnable [ c l as s ] embedding * Patch + Position Embedding 1 2 3 4 5 6 7 8 9 Multi-Head Attention Linear Projection of Flattened Patches Norm Embedded Patches

Vision Transformerの構造と処理 Vision Tr ansfor mer (ViT) Clsトークンのみを⽤い， 多層パーセプトロンが識 別を⾏う． Class Bird Ball Car ... Tr ansfor mer Encoder MLP Head embeddingsが Transformer Encoder で処理される． Lx + MLP Norm Transformer Encoder + 0 * Extra learnable [ c l as s ] embedding * Patch + Position Embedding 1 2 3 4 5 6 7 8 9 Multi-Head Attention Linear Projection of Flattened Patches Norm 画像をパッチに 分ける． Embedded Patches Figure 1: Model overview. We split an image into fixed-size patches, linearly embed each of them パッチがembeddingsに変換される． Class embedding (clsトー add position embeddings, and feed the resulting sequence of vectors to a standard Transforme クン)toが追加される． encoder. In order perform classification, we use the standard approach of adding an extra learnab

ViTの具体的な処理と配列の形 状

1.Embeddingsの作成

Embeddingの作成⼿順 1. 画像𝑥を !# 個のパッチに分ける．パッチは𝑝×𝑝×𝑐の画像（3階テン " " ソル）である．ここで𝑐はチャネルを表す． 2. パッチをベクトル𝒙$" にし，⾏列𝑬をかける（𝒙$" 𝑬）． 𝒙$" 𝑬 は𝑝% 𝑐次元 ベクトルで，𝑬は学習可能である． 𝒙$" をembeddingと呼び，今後 embeddingsは個別に処理される． 3. それぞれのパッチから計算されたembeddingsにclass embedding 𝒙&'()) を追加する． 4. Embeddingsにposition embeddings 𝑬*+) を⾜す．

画像をパッチに分ける 𝑃! 𝐶 𝑊 𝐻 𝑁 𝐶 𝒙 ∈ 𝑅"×$×% 画像を𝑃×𝑃の⼩さ な画像（パッチ） に分ける． 画像𝒙 ∈ 𝑅!×#×$ は3階テンソルで ある． それぞれのパッ チをベクトルに する． パッチは𝑁 = 𝐻𝑊/𝑃% 個ある． それぞれのパッチは𝑅&×&×$ の3階テ ンソルである．つまり，パッチは 𝑃×𝑃の画像である． ! パッチはそれぞれ𝒙(' ∈ 𝑅& $ のベクトルに変換される．つま り， ベクトルが𝑁個できる．

パッチをembedingに変換する 1 𝑃! 𝐶 𝒙)( × 𝑃! 𝐶 𝐷 𝑬∈𝑅 𝐷 & ! % ×' 1 学習可能 𝒙)( 𝑬 これが𝑁個ある サイズ𝑃% 𝐶のベクトルになったパッチに⾏列𝐸をかけて，サイズ𝐷のベクトルを作る．𝐷はembedding sizeである． 𝐸はニューラルネットワークの学習により得る．つまり𝐸はニューラルネットワークの重みである． 𝒙)( 𝒙)( 𝑬 重み𝐸 𝑃! 𝐶個 𝐷個

CLS embeddingを追加する 𝒛** = 𝒙+,-.. 1 𝐷 学習可能 𝑁個のパッチ+𝑥"#$%% だから𝑁 + 1個 追加 𝑥( 𝐸 𝒙( 𝑬 = 𝒙)( 𝑬; 𝒙!( 𝑬; … ; 𝒙/ (𝑬 𝐷 𝑁+1 𝑁 𝐷 𝒙+,-.. ; 𝒙)( 𝑬; 𝒙!( 𝑬; … ; 𝒙/ (𝑬 Class embedding(clsトークン) 𝑥+,-.. = 𝑧** を学習可能なembeddingとして追加する． 識別の際， Transformer encodeにより処理された𝑥01233 のみ（CLS embeddingのみ）を ⽤い識別が⾏われる．

Positional embeddings + 𝐷 𝐸(4. 𝑁+1 𝐷 𝑁+1 𝑁+1 𝐷 𝒛. 学習可能 𝒙+,-.. ; 𝒙)( 𝑬; 𝒙!( 𝑬; … ; 𝒙/ (𝑬 𝒛* = 𝒙+,-.. ; 𝒙)( 𝑬; 𝒙!( 𝑬; … ; 𝒙/ ( 𝑬 + 𝑬(4. これがTransformer endocderの⼊⼒となる なぜ𝑬(4. を⾜さねばならないか（positional embeddingsが必要か）は以降のスライドで説明する．

Position embeddingsはなぜ必要か • Vision TransformerおよびTransformerは場所情報（順番情報）を扱え ない． • パッチ（トークン）ごとに処理が⾏われる． • そのパッチ（トークン）の処理にその位置は⼀切関係ない． • しかし，画像であれ⽂章であれ位置は重要な情報を含んでいるはずで ある． • 位置情報が扱えないTransformerに位置情報を扱えるようにするため に，position embeddingsが⽤いられる．

Position embeddingsとはなにか • 場所情報を持つ⾏列𝑬*+) をposition embeddingsと呼ぶ． • 𝑬*+) をembeddingsに加えることで，各embeddingsに場所情報を与え る． • Vision transformerでは𝑬*+) は学習により得る． • Transformerでは𝑬*+) を正弦波で作る． • Vision transformerでも 𝑬*+) に正弦波を⽤いることが可能である． • 𝑬*+) を学習しても正弦波にしても⼤きな性能の変化はない． • しかし 𝑬!"# を使わなければ性能は落ちる．

𝑥 10000)/+ 𝑃𝐸 𝑥, 1 = cos 𝑬)* 563 … 𝑃𝐸 𝑥, 10 = sin 𝑥 10000)/+ 𝑃𝐸 𝑥, 0 = sin 𝑁 𝑁 𝑥 𝑬!"# 𝑬)563 𝑬*563 𝐷 𝑥 10000,/+ 1D sinusoidal position embeddings … 1次元正弦波を⽤いたposition embeddingsは次の式で表される． 7 7 𝑃𝐸 𝑥, 2𝑖 = sin )****!&/( ，𝑃𝐸 𝑥, 2𝑖 + 1 = cos )****!&/( ' 𝑖は0,1,2, … , − 1の整数である． 𝑥はパッチの場所(⾏番号)，2𝑖と2𝑖 + 1 はembeddingの番号（列番号）であ ! る． 10000!8/' は波⻑を表す．波⻑はembeddingごとに異なる． Sinusoidal position embeddingsではclsトークンに𝐸)*% を加えても意味がないので，𝐸+,-は𝑁×𝐷の⾏列にしている．

1D sinusoidal position embeddings 𝑥 それぞれ，Embedding sizeが256，24×24パッチに 対する𝐸(4. である．上の図のような1次元の正弦波 が各列 𝑥(: 𝐸に⾜される．Enbeddingの番号が増える : ほど波⻑が⻑くなる．右図は 𝐸(4. の値を対応する 画像の場所に配置したときの強度分布である．

2D sinusoidal position embeddings 1 𝐷 𝑥 𝑊/𝑝 𝐻/𝑝 𝑬89: 𝑁 𝑁 𝑦 ⼊⼒画像上の パッチの位置 1次元正弦波を⽤いたpositional encodingは次の式で表される． 𝑥 𝑥 𝑃𝐸 𝑥, 𝑦, 2𝑖 = sin , 𝑃𝐸 𝑥, 𝑦, 2𝑖 + 1 = cos 10000;8/' 10000;8/' 𝑦 𝑦 𝑃𝐸 𝑥, 𝑦, 2𝑗 + 𝐷/2 = sin , 𝑃𝐸 𝑥, 𝑦, 2𝑗 + 1 + 𝐷/2 = cos 10000;</' 10000;</' ' 𝑖, 𝑗は0,1,2, … , − 1の整数である． 𝑥, 𝑦はパッチを2次元に配置したときの場所(⾏番号)，4𝑖などは ; はenbeddingの番号（列番号）である． 10000;8/' と 10000;</' は波⻑を表す．波⻑はenbedding ごとに異なる．

2D sinusoidal position embeddings : 右図は 𝐸(4. の値を対応する画像の場所に配置したときの強度分布である．

2. Transformer encoderの処理

9 Transformer Encoderの処理 Tr ansfor mer Encoder Lx + MLP MLPの出⼒に 𝑧,> が⾜される．𝑧, = MLP LN 𝑧,> + 𝑧,> 多層パーセプトロン(MLP)で処理される．MLP LN 𝑧,> Norm + Multi-Head Attention s MSAの出⼒に𝑧,=) が⾜される． 𝑧,> = MSA 𝐿𝑁 𝑧,=) + 𝑧,=) Multi-head self attentionが⾏われる． MSA LN 𝑧,=) Norm Layer normalizationが⾏われる． LN ⋅ Embedded Patches

Multi-head self attentionの処理 Multi-Head Attention 𝑨𝒗の計算をする． 全結合ネットワークで処理する． 各ヘッドを統合する． 𝑨 = softmax LN 𝒛,=) がℎヘッドに分かれる． 各ヘッドは𝒒, 𝒌, 𝒗⾏列からなる． 𝒒𝒌. 𝐷/ 𝒒𝒌? の計算をする． Multi-Head Attention consists of several (Vaswani et al., 2017, Attention is all you need)

Layer normalization
𝐷

𝑁+1

𝑁+1

𝐷

𝒛,=)

LN 𝒛,=)

データを⼀つづつ正規化する．
𝑦8 = 𝛾𝑥R8 + 𝛽 = 𝐿𝑁 𝑥8
𝜇8 =

)
"

∑"
< 𝑥8< , 𝜎8 =

)
"

∑"
< 𝑥8< − 𝜇8

!

, 𝑥R8 =

7&0 =@&
A&

𝐻は𝑥8 に含まれる要素の数，𝑖はデータの番号である．

Layer normalization (Ba, Kiros, and Hinton, 2016) はデータごとに正規化している．
Batch normalizationは各チャネルをバッチごとに正規化している．

https://paperswithcode.com/method/layer-normalization

• https://paperswithcode.com/method/layer-normalization

Multi-head self attention × × × × × × 𝑁 + 1個 𝐷 𝑼∈ Transformer encode 内で𝑈は⼀つで， embeddingごとに 同じ𝑈をかける． 𝑅,×., 学習可能 3𝐷 LN 𝒛,=) 𝐷/ℎ 𝐷/ℎ 𝐷/ℎ 𝒒 𝒌 𝒗 𝐷/ℎ 𝐷/ℎ 𝐷/ℎ 𝒒 𝒌 𝒗 ℎ個ある 𝑁+1 𝑁 + 1個 𝑁+1 𝑁+1 𝐷 3𝐷 𝑁+1 1 𝐷 𝐷/ℎ 𝐷/ℎ 𝐷/ℎ 𝒒 𝒌 𝒗

Multi-head self attention 𝑁+1 𝐷/ℎ 𝐷/ℎ 𝐷/ℎ 𝒗 SA × 𝒌 𝐷/ℎ 𝐴 = softmax 𝑞𝑘 E 𝑁+1 𝒒 𝐷F 𝑨 × SA 𝒛 = 𝑨𝒗 SA 𝑧 はℎ個あるのでそ れを結合する． 𝐷 𝑁+1 𝑁+1 𝑁+1 SA SA SA SA [SA) 𝒛 , … , SAF 𝒛 , ]

Multi-head self attention 𝐷 𝐷 × 𝐷 𝑼-./ ∈ 𝑅+×+ 𝑁+1 𝑁+1 𝐷 MSA 学習可能 MSA LN 𝒛,=) = SA) LN 𝒛,=) , … , SAF LN 𝒛,=) SA) LN 𝒛,=) , … , SAF LN 𝒛,=) 重み 𝑼G.𝐷個 𝑼G.- ∈ 𝑅'×' はこの全結合ニューラル ネットワークを⽤い学習する． 𝐷個 𝑼G.-

Φ 𝑥 :ガウス分布の累積分布関数 erf: Gaussian error function GELU MLP LN 𝒛>, 𝐷 𝐷 𝑁+1 𝑥 𝑥 1 + erf 2 2 𝐷個 𝐷個 GELU (Gaussian Error Linear Unit) ℎ 𝑥 = 𝑥Φ 𝑥 = LN 𝒛>, MLP LN 𝒛>, + 𝒛>, 𝐷 𝑁+1 + 𝒛,=) 𝐷 𝑁+1 𝒛>, = MSA LN 𝒛,=) + 𝒛>, 𝑁+1 𝒛,=) MSA Layer Normalization 𝐷 𝐷 𝑁+1 𝑁+1 MHSA後の処理 𝒛, 𝒛, = MLP LN 𝒛>, + 𝒛>,

3.MLPの処理

識別 𝑁+1 𝐷 𝒛> clsトークンを取 り出す． 1 𝐷 𝒛*H 識別結果 Layer Normalization 𝒚 = LN(𝒛*H ) 𝐾個 𝐷個 𝐾クラスあるとする． MLP 𝒚 clsトークン 𝑧H* のみ抽出し，それを⽤い識別する．他のembeddingsは使⽤しない． Fine-tuningのときはMLPを取り除き，0で初期化された𝐷×𝐾のフィードフォワード層 をつける．つまり，classification headが3層から2層に変更される(MLPからLinearへ 変更)．