---
title: 【DL輪読会】VIP: Towards Universal Visual Reward and Representation via Value-Implicit Pre-Training
tags:  #@deep learning jp  
author: [Deep Learning JP](https://www.docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/GEW36XN2E2.jpg?width=480
description: 2023/6/23 Deep Learning JP http://deeplearning.jp/seminar-2/
published: June 23, 23
canonical: https://www.docswell.com/s/DeepLearning2023/5RXWJ4-dlvip-towards-universal-visual-reward-and-representation-via-valueimplicit-pretraining-258571127
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/GEW36XN2E2.jpg)

DEEP LEARNING JP
[DL Papers]
“VIP: Towards Universal Visual Reward and
Representation via Value-Implicit Pre-Training”
Presenter: Takahiro Maeda D2
(Toyota Technological Institute)
http://deeplearning.jp/


# Page. 2

![Page Image](https://bcdn.docswell.com/page/47ZVY634E3.jpg)

目次
1.
2.
3.
4.
5.
6.
書誌情報
概要
研究背景
提案手法
実験結果
考察・所感
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/YJ65D2XG7V.jpg)

1. 書誌情報
ICLR 2023, Spotlight, Project Page, arXiv 2022年10月
※特に明示が無い場合は，紹介論文，動画から引用
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/GJ5Y32XXJ4.jpg)

2. 概要
Value Implicit Pre-training
• 画像ゴールを達成するdense rewardの基盤モデル
• Ego4D動画から自己教師学習
• Few-shot offline RLを実現（~20 samples）
画像ゴール
（棚を開ける）
VIP
R3M
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/LE356KX4J5.jpg)

3. 研究背景 (1/2)
• 言語指示によるロボットコントロールの台頭
RT-1[Brohan+ 2022]
大規模指示文付きロボットデータ
SayCan [Ahn+ 2022]
LLMの使用
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/8EDDV325EG.jpg)

3. 研究背景 (2/2)
• 言語指示が難しい（面倒な）場合がある
– 各物体の収納指示は面倒
– 収納後の画像で指示したい
大量の言語指示
が必要
大量の物体
所定の位置
• しかし，実ロボットによるデータ収集は行いたくない
– コスト低減
– Ego4Dによって収集データ，タスクの幅を広げる
– Metaの戦略？ Googleと対照的
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/V7PXV41DE8.jpg)

4. 提案手法
• 概要
– タスクの連続性を持った画像特徴量𝜙(𝑜)を学習
– Ego4D動画の各フレームに対してContrastive Learningで表現学習
– 推論（後続のfew-shot offline RL）の報酬をゴール特徴量𝜙(𝑔)への距離で定義
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/2JVLZXYG7Q.jpg)

4. 提案手法
• 主観視点動画で学習できる理論的な背景
𝑎 :行動
𝑜 :観測画像
𝑜 ′:次観測
𝑔 :ゴール画像
𝑟 :報酬
𝑑 :分布
– KL-regularized offline RL objective
割引報酬
行動,観測ペアの分布間KL誤差
• 人のaction 𝑎 𝐻 は本質的にわからない
• Fenchel dualityによって，𝑎 𝐻 がない形へ変形
初期位置の価値期待値
Temporal differenceの期待値
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/5EGX4VWDJL.jpg)

4. 提案手法
• 主観視点動画で学習できる理論的な背景（続き）
– 最適な価値関数＝正しく学習された画像特徴量の負の二乗誤差とすると
初期位置とゴールの特徴量を近づける
隣接観測の特徴量を遠ざける
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/4JQ8G63X7P.jpg)

4. 提案手法
• 導出された式は直観に反するような？
– 隣接観測の特徴量を遠ざける？
– 類似手法とも異なる
• Time Contrastive Network右図
• 結果はかなり良い
– 遠ざけることで報酬が
単調減少になる証明あり
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/K7425412J1.jpg)

4. 提案手法
• 得られた特徴量𝜙(𝑜)をfew-shot offline RLへ適用
– サンプル数 ~20！
– Reward Weighted Regression（RWR）を使用
– 特徴量𝜙(𝑜)を，policyの入力，ゴール条件付け報酬として使用
– 通常のoffline RLでは，大量のサンプルとdense rewardの設計が必要
• 提案手法で解決
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/LJ1MW4GKEG.jpg)

5. 実験結果
• 実環境でのfew-shot offline RL
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/GJW36XKPJ2.jpg)

• EpicKitchenでのfew-shot offline RL
画像ゴール
VIP
R3M
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/4EZVY6Z6J3.jpg)

• 復帰するような動作も得られるらしい
– BCと違い，offline RLを行っているから
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/Y765D2ZLEV.jpg)

余談
• CLIPによって，言語＋画像で報酬を定義できるextendも登場
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/G75Y32WM74.jpg)

6. 考察・所感
• 所感
– ゴールを画像として与えることが合理的な場合もあるはず
– 最近のImage Editingとの組み合わせも考えられる
– クックパッドなどの中間画像がある場合では，料理を材料作れるかも？
• Future work
– 現状，価値関数がsymmetric=環境が可逆なことを仮定してしまっている
– VIPのfine-tuning
– ナビゲーションや各種予測にも使える可能性あり
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/9J2GZ4QRJR.jpg)

追記
• Ego4D全体で学習している？またはsubsetで学習？
– VIPの元となったR3Mでは，subsetをとることは明示的に書いていない
– Canonial clipsをそのまま用いているらしい
• https://github.com/facebookresearch/r3m/issues/13
17