---
title: 【物体検出】segformer
tags: 
author: [京都大学人工知能研究会KaiRA](https://www.docswell.com/user/kyoto-kaira)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/4EM2YK35EW.jpg?width=480
description: 【物体検出】segformer by 京都大学人工知能研究会KaiRA
published: January 09, 25
canonical: https://www.docswell.com/s/kyoto-kaira/K6V9ML-2025-01-09-211157
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/4EM2YK35EW.jpg)

２０２４年度後期輪読会
第12回
[物体検出]
SegFormer
京都大学 工学部 情報学科
宮前明生
0


# Page. 2

![Page Image](https://bcdn.docswell.com/page/PERM9XQZ79.jpg)

アジェンダ
 SegFormerの概要
 SegFormerのアーキテクチャ
 実験結果
1


# Page. 3

![Page Image](https://bcdn.docswell.com/page/P7XVQ651JX.jpg)

アジェンダ
 SegFormerの概要
 SegFormerのアーキテクチャ
 実験結果
2


# Page. 4

![Page Image](https://bcdn.docswell.com/page/37KQ916M7D.jpg)

SegFormerの概要
 ピクセルごとにクラス分類を行うセマン
ティック・セグメンテーションモデル
 Segformerは大きく2つの構造から成る
1. 階層型Trabsformerエンコーダー
2. 軽量All-MLPデコーダー
3


# Page. 5

![Page Image](https://bcdn.docswell.com/page/LJ3PWQ6275.jpg)

アジェンダ
 SegFormerの概要
 SegFormerのアーキテクチャ
 実験結果
4


# Page. 6

![Page Image](https://bcdn.docswell.com/page/8JDLK9V67G.jpg)

SegFormerのアーキテクチャ
 階層型Transformerエンコーダー
• Overlap Patch Embeddingsで
の画像をself-attensionのため
に
のパッチに埋め込みをする
• Transformer Blockを通して、 特徴
マップ
を得る

•
軽量All-MLPデコーダー
4つの特徴マップをMLPLayerを通し
て、全て
に変換する
•
MLPで
のセグメンテー
ションマップを出力する（
はカ
テゴリ数）
5


# Page. 7

![Page Image](https://bcdn.docswell.com/page/VEP2KZRZE8.jpg)

SegFormerのアーキテクチャ
 Overlap Patch Embeddings
•
オーバーラップしながら
チに分割する（パッチ数は
のパッ
）
•
カーネルサイズが4の畳み込み処理

Overlap Patch Merging
•
入力をマージしてより小さい特徴
マップ
を得る
•
4つのOverlap Patch Mergingは
カーネルサイズ
ストラ
イド
パディング
の畳み込み処理
6


# Page. 8

![Page Image](https://bcdn.docswell.com/page/27VDVWRM7Q.jpg)

SegFormerのアーキテクチャ

Efficient Self-Attention
•
通常のSelf-Attensionの計算量は
（ はパッチ数）
•
各TrabsformerBlockで削減率
を用いて、キーとバリュー
の次元を 倍に削減する
•
Efficient Self-Attensionの計算量は
Softmax
𝑄𝐾
𝑑
Self-Attension
Softmax
V
𝑄𝐾
𝑑
𝑉
Efficient Self-Attension
7


# Page. 9

![Page Image](https://bcdn.docswell.com/page/5JGYLDMXJL.jpg)

SegFormerのアーキテクチャ

Efficient Self-Attention
•
キーとバリューの削減は以下のよう
に行われる
1. パッチ特徴量を特徴マップごとにリ
サイズする
2. 削減率 によって、サイズが
H/R×W/Rになるように畳み込みを
する
3. サイズを
にリサイズしてキーと
バリューを得る
Vision Transformer入門から
8


# Page. 10

![Page Image](https://bcdn.docswell.com/page/47QMY1R5EP.jpg)

SegFormerのアーキテクチャ

Mix-FFN
•
位置情報を取り入れる役割がある
•
3×3の畳み込みとMLPを組み合わせた
•
以下のように定式化している
•
GELUはガウス累積分布関数
いて以下のように与えられる
を用
9


# Page. 11

![Page Image](https://bcdn.docswell.com/page/KE4VWR8V71.jpg)

SegFormerのアーキテクチャ

MLP-Decoder
•
Encoderから得られた各特徴マップ
から
のセグメンテーショ
ンマップを出力する
•
MLPLayerでは、各特徴マップを
MLPでチャンネル数をC、
UpsumpleでサイズがH/4×W/4に
統一する
•
統一した各特徴マップをMLPを通し
てセグメンテーションマップを得る
10


# Page. 12

![Page Image](https://bcdn.docswell.com/page/L713YQ24EG.jpg)

SegFormerのアーキテクチャ

Decoderがシンプルな理由
•
セグメンテーションでは画像情報を含む
大きな受容野を維持しなければいけない
•
受容野とは、1ピクセルが各特徴マップ
でどれほどの領域で計算に利用されてい
るか
•
DeepLabv3は、主にCNNからなる4つの
特徴マップを生成するEncoderを用いて
いる
•
DeepLabv3とSegformerを比較すると、
Segformerは4つ目の特徴マップでも広
い受容野を持つ
11


# Page. 13

![Page Image](https://bcdn.docswell.com/page/G7WPGMRZE2.jpg)

アジェンダ
 SegFormerの概要
 SegFormerのモデル
 実験結果
12


# Page. 14

![Page Image](https://bcdn.docswell.com/page/4JZKLQRLJ3.jpg)

実験結果
13


# Page. 15

![Page Image](https://bcdn.docswell.com/page/YE6QW6RMEV.jpg)

実験結果
14


# Page. 16

![Page Image](https://bcdn.docswell.com/page/GE5RM68QJ4.jpg)

参考文献
 https://arxiv.org/abs/2105.15203（Segformer）
 https://arxiv.org/abs/2102.12122（階層型Transformer）
 https://gihyo.jp/book/2022/978-4-297-13058-9（Vision Transformer入門）
15


