---
title: 【DL輪読会】"Masked Siamese Networks for Label-Efficient Learning"
tags: 
author: [Deep Learning JP](https://www.docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/YE9NGYV8E3.jpg?width=480
description: 2022/05/06 Deep Learning JP: http://deeplearning.jp/seminar-2/
published: May 06, 22
canonical: https://www.docswell.com/s/DeepLearning2023/K3849E-dlmasked-siamese-networks-for-labelefficient-learning
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/YE9NGYV8E3.jpg)

DEEP LEARNING JP
[DL Papers]
“Masked Siamese Networks for Label-Efficient Learning”
Naoki Nonaka
http://deeplearning.jp/
2022/5/5
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/GE8KV6PZ7D.jpg)

書誌情報
• 会議：?
• 著者：Meta AI
2022/5/5
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/LELZ5911JR.jpg)

概要
p 自己教師あり学習の手法
Masked Siamese Networks(MSN)を提案
p 新規性
ランダムにマスクされたパッチの表現と
マスクされていない元画像の表現を一致させるように学習
p 画像でのLow-shot learningタスクで
自己教師あり学習のSOTAを達成
2022/5/5
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/4JMV3ZW5JW.jpg)

背景: Mask-denoising + Joint-embedding
p Mask-denoising
p Joint-embedding
[1]
2022/5/5
[2]
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/PJR2Q6YZE9.jpg)

背景: Mask-denoising + Joint-embedding
p Mask-denoising
p Visionで優れた性能
p Pixel or Tokenレベルでの再構成が必要
p Joint-embedding
p 再構成不要
再構成不要で自己教師あり学習をする手法を提案
2022/5/5
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/PEXD5MG17X.jpg)

提案手法：Masked Siamese Network (MSN)
提案手法の概念図: MSN
p Masked prediction + Joint-embedding
p 先行研究との相違点：Maskなしデータの表現に近づけるように学習
2022/5/5
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/3EKX6G4M7D.jpg)

提案手法: MSN（学習手順）
1
2
3
1. 入力画像をランダムなdata augmentationにより二通りに変換（anchor & target）
2. Anchorにランダムにmaskを適用（Targetはそのまま）
3. Anchor & Targetについてのprototype集合に対するsoft-distributionを計算して学習
2022/5/5
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/L7356NL2E5.jpg)

提案手法: MSN（学習手順）
損失関数
クロスエントロピー
正則化項
(Mean entropy maximization; ME-MAX)
2022/5/5
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/87DDVWN67G.jpg)

実験概要
p Label-efficient learning
p Linear Evaluation & Fine-tuning
p Transfer Learning
p Ablations
獲得した表現が優れていることを示す
= 少数ラベル条件，線形分類器の学習，再学習，転移学習の性能
2022/5/5
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/VJPXV9NZ78.jpg)

実験概要
p Label-efficient learning
n Extreme Low-shot
n ImageNet-1K
p Linear Evaluation & Fine-tuning
p Transfer Learning
p Ablations
2022/5/5
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/2EVLZMKMJQ.jpg)

実験：Extreme low-shotでの結果
p データセット：ImageNet-1K
p 事前学習で得たweightを固定し，
線形分類器のみを学習し評価
p 使用するラベル付きデータ数を
極少数（1, 2, 5/class）にして学習
p 3回の試行での
Top1 accuracyの平均値で評価
MSNが最も高い精度を示した
→ 少数ラベルでも分類問題を解ける特徴量を獲得できている
2022/5/5
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/57GX4GQXEL.jpg)

実験：1% ImageNet-1Kでの結果
p データセット：ImageNet-1K
p 各クラス1%（= 10枚）のラベル付き
データを使用
p MSN（提案手法），DINO，iBOTは
Fine-Tuningなしの結果
p パラメータ数の多いSimCLRv2を上回る
p Fine-Tuningなしで同程度の大きさのモデルを大きく上回る
2022/5/5
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/4EQ8GXK5JP.jpg)

実験概要
p Label-efficient learning
p Linear Evaluation & Fine-tuning
n Linear Evaluation
n Fine-Tuning
p Transfer Learning
p Ablations
2022/5/5
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/KJ4256PVE1.jpg)

実験：全ラベルを使用した場合の実験結果
Linear Evaluation
Fine-Tuning
→ 線形分類器のみを学習
→ ネットワーク全体を再学習
両条件でSOTAに近い性能を達成
2022/5/5
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/LE1MWV947G.jpg)

実験概要
p Label-efficient learning
p Linear Evaluation & Fine-tuning
p Transfer Learning
n Fine-Tuning Transfer Learning
n Linear Evaluation Transfer Learning
p Ablations
2022/5/5
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/GEW36LQZE2.jpg)

実験：獲得した表現による転移学習の性能
Linear Evaluation
Fine-Tuning
→ 線形分類器のみ転移先で学習
→ ネットワーク全体を転移先で学習
DINOと同程度の性能を達成
2022/5/5
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/47ZVYMWLE3.jpg)

結論・まとめ
p 自己教師あり学習手法Masked Siamese Networks(MSN)を提案
p ランダムにマスクされたパッチの表現と
マスクされていない元画像の表現を一致させるように学習
p 少数ラベルでの分類，獲得した特徴量の線形分類，Fine-Tuning,
転移学習の実験において，既存手法を上回るまたは同程度の性能
を示した
2022/5/5
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/YJ65DNGM7V.jpg)

Reference
1.
Masked Autoencoders Are Scalable Vision Learners
2.
Exploring Simple Siamese Representation Learning
2022/5/5
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/GJ5Y35VQJ4.jpg)

Appendix
2022/5/5
19


# Page. 20

![Page Image](https://bcdn.docswell.com/page/9E2GZN3WER.jpg)

実験：Low-shot learning結果まとめ
1% ImageNet-1K
2022/5/5
Extreme Low-shot Evaluation
20


# Page. 21

![Page Image](https://bcdn.docswell.com/page/D7YVRP197M.jpg)

実験概要
Ablations
n Combining Random and Focal Masking
n Random Masking ratio
n Augmentation Invariance and Low-shot Learning
n Random Masking Compute and Memory
2022/5/5
21


# Page. 22

![Page Image](https://bcdn.docswell.com/page/VENMD52DJ8.jpg)

実験：Ablation study
Maskingの条件を検討 → RandomとFocalを組み合わせた場合が最も良い結果
Maskingの比率の検討 → Architectureが大きいほど，最適なMasking比は高い
2022/5/5
22


# Page. 23

![Page Image](https://bcdn.docswell.com/page/Y79NGY1873.jpg)

実験：Ablation study
Augmentationの効果
Maskingと計算効率
2022/5/5
23