---
title: [DL Hacks]tensorflow/privacy Task-Embedded Control Networks for Few-Shot Imitation Learning
tags:  #deep learning  
author: [Deep Learning JP](https://www.docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/D7YV94X47M.jpg?width=480
description: 2019/01/31 Deep Learning JP:  http://deeplearning.jp/hacks/
published: April 11, 19
canonical: https://www.docswell.com/s/DeepLearning2023/5LL9PQ-dl-hackstensorflowprivacy-taskembedded-control-networks-for-fewshot-imitation-learning
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/D7YV94X47M.jpg)

Task-Embedded Control Networks for Few-Shot
Imitation Learning
PSI B4 近藤生也


# Page. 2

![Page Image](https://bcdn.docswell.com/page/VENMLY16J8.jpg)

もくじ
●
●
●
●
●
●
●
●
論文
やりたいこと
どんなもの？
ベースライン(MIL)
TecNets
実験結果
実装パート
コードは一応公開しないでください。。


# Page. 3

![Page Image](https://bcdn.docswell.com/page/Y79N4P5R73.jpg)

論文
●
Task-Embedded Control Networks for Few-Shot Imitation Learning
○
○
○
●
CoRL2018
imperial college london
https://arxiv.org/pdf/1810.03237.pdf
One-Shot Visual Imitation Learning via Meta-Learning
○
○
○
CoRL 2017
BAIR(UC Berkeley)
https://arxiv.org/pdf/1709.04905.pdf


# Page. 4

![Page Image](https://bcdn.docswell.com/page/G78KQDYGJD.jpg)

やりたいこと
●
●
お片付け
弁当のおかず（日本の弁当は中身がころころ変わる）
○
●
操作物と宛先が変わっても一回教えたらできるようになってほしい
『人間がロボットのように弁当詰めてる』by nsnさん
○
大変嘆かわしい！自動化したい。


# Page. 5

![Page Image](https://bcdn.docswell.com/page/L7LZXM4XER.jpg)

どんなもの？
●
pushingの模倣学習
○
○
○
○
●
対象物(様々な大きさ形質量摩擦 )によって様々なタスク。
様々なタスクをこなす！
ただしデモ(遠隔操作)をfew個教えてもらえる。
MIL(後述)とおんなじ問題設定
(賢い)タスクの埋め込みをする
○
○
○
『視覚的な情報』 +『学習する上で必要な情報』で、デモからタスク情報を embedding。
汎用的なpushingのポリシーとembeddingベクトルを使って、タスクを捌いていく！
割とあっさりベースラインを超えた。


# Page. 6

![Page Image](https://bcdn.docswell.com/page/4EMVLYK3EW.jpg)

問題設定(from MIL)
●
あるタスクのデモを(1つ)みて、
環境が少し変わった同じタスクを
遂行する。
●
学習時
○
●
約800タスク×各12デモの
vision+action
評価時
○
○
約80タスク
1回のデモを渡された後、 sim上で実
際に画像を見ながら actionする。


# Page. 7

![Page Image](https://bcdn.docswell.com/page/PER2K9XR79.jpg)

ベースライン: MIL
●
MAMLの拡張手法。MAMLが汎用的なので魅力ではある。
○
○
●
後続論文が(同じ研究所から)3,4つ出てる
○
○
●
MAML: どんなタスクでも few-stepの学習でtuningが終わるような、
普遍的な初期パラメータを求める手法。
タスクごとにfinetuning的なことをする。
人間のデモを使えるようにする
test時にタスクを複数組み合わせたデモを見せる
イマイチな点
○
○
○
○
デモがないと思い出せない
■ いろんなタスクにすぐに切り替えるためには、
モデルのパラメータをタスクごとにまるっと保存しなければならない
リーチ、プッシュなど、基本的なポリシーまでいちいち finetuningにかけられてしまう。
精度
実装がスパゲッティ


# Page. 8

![Page Image](https://bcdn.docswell.com/page/P7XDLQ6YJX.jpg)

ベースライン: MIL
●
精度は今ひとつ


# Page. 9

![Page Image](https://bcdn.docswell.com/page/37KXL914JD.jpg)

提案手法: TecNets
●
『Task Embedding Net』 + 『Control Net』
○
○
○
『Task Embedding Net』でデモからsentence(タスク情報のベクトル )を求めて
『Control Net』に毎フレームぶち込む
End2Endで同時に学習。
同じタスクなら物体の位置等変わってもこなせるようになる。
== 同じタスクに対して高い汎化性を出せるようになる。


# Page. 10

![Page Image](https://bcdn.docswell.com/page/LJ353WQD75.jpg)

Task Embedding Net
●
実はかなりせこい
●
●
●
入力：最初と最後のフレーム
conv層*4+fc層*3のシンプルなCNN
MILとほぼ同じ
○
↓MILの図


# Page. 11

![Page Image](https://bcdn.docswell.com/page/8JDD4K92JG.jpg)

Task Embedding Net
●
基本的なlossはmetric loss
●
metric loss
○
『ラマ』と『イヌ』の例
●
同じクラス
同士
○
○
○
○
違うクラス
同士
s^j_k: k番目のデモの sentence
s^j: s_k^jの平均(をnormで割ったもの)
Σ^j: タスクj
τ^j_k: タスクjのk番目のデモ


# Page. 12

![Page Image](https://bcdn.docswell.com/page/VEPXMKZLJ8.jpg)

Control Net
●
●
入力：現在の画像とsentenceベクトル。
conv層*4+fc層*3のシンプルなCNN
●
基本的にはMIと同じ↓


# Page. 13

![Page Image](https://bcdn.docswell.com/page/27VL9VW6EQ.jpg)

Control Net
●
基本のloss: Behavior Cloning
●
○
デモの画像を見て、同じ actionを出力するよ
うに学習。


# Page. 14

![Page Image](https://bcdn.docswell.com/page/5JGXZLD27L.jpg)

実際の学習の流れ
●
●
予めタスクの数だけ
sentenceを用意しておく。
qは実際の使用をイメージ
したクエリ用のデモ


# Page. 15

![Page Image](https://bcdn.docswell.com/page/47Q8LY19EP.jpg)

最終的な目的関数
●
●
これを最小化すれば、どちらのモデルも最適化される。


# Page. 16

![Page Image](https://bcdn.docswell.com/page/KE42DW6R71.jpg)

最終的な目的関数


# Page. 17

![Page Image](https://bcdn.docswell.com/page/L71MZYVVJG.jpg)

実験結果
●
●
MILの実験
デモでvisionだけ使える場合、
大きく精度を上回った。


# Page. 18

![Page Image](https://bcdn.docswell.com/page/G7W39GL372.jpg)

実験結果
●
タスクのembedding(実機)


# Page. 19

![Page Image](https://bcdn.docswell.com/page/4JZV9LMG73.jpg)

その他の機能
●
●
&gt; Having such an expressive space would not only allow for few-shot
learning, but also opens the possibility of inferring information from new and
unfamiliar tasks in a zero-shot fashion, such as how similar a new task may
be to a previously seen one
若干違う始めてのタスクに出会ってもできる
●
モデル的にzero-shotでもできる可能性もある。
○
初期状態だけでタスクが決まる場合
■ ドア/引き出しを開ける /閉める


# Page. 20

![Page Image](https://bcdn.docswell.com/page/YE65KWNQJV.jpg)

実装パート
●
torch沼へようこそ


# Page. 21

![Page Image](https://bcdn.docswell.com/page/GE5YPM52E4.jpg)

実装ポイント
●
●
●
●
●
LayerNorm
Taskset/TaskLoader
loss_all += loss &amp; loss.backward は危険かも
cos類似度lossの注意
紹介する方法が本当に良いのかわかんないので別解ありそうだったら教えてください…


# Page. 22

![Page Image](https://bcdn.docswell.com/page/972G69N17R.jpg)

Task Embedding Net
●
シンプルなCNN


# Page. 23

![Page Image](https://bcdn.docswell.com/page/DJYV94P4JM.jpg)

Control Net
●
●
シンプルなCNN
sentenceのconcatがちょっとトリッキー


# Page. 24

![Page Image](https://bcdn.docswell.com/page/V7NMLY56E8.jpg)

LayerNorm
●
BatchNormより良かったり悪かったりす
るらしい
○
●
LayerNormの挙動→
○
●
バッチサイズ依存ではない (個人的にありが
たい。実装ミスが減る )
各データのある中間層での値すべての平均
と分散で出力を標準化
elementeise_affine=True
○
○
標準化後に各要素 (ここではh*125*125の要
素)それぞれに対して *weight+biasをする。
パラメタがすごく (h*125*125個)増える


# Page. 25

![Page Image](https://bcdn.docswell.com/page/YJ9N4PYRJ3.jpg)

torch_utils.Taskset / TaskLoader
●
torch.utils.data.Dataset/DataLoaderを参考にした


# Page. 26

![Page Image](https://bcdn.docswell.com/page/GJ8KQD6GED.jpg)

Dataset/DataLoader
●
init時にあるタスクのgif
とpklのpathを受け取
り、
__getitem__で
1frameのvisionと
actionを返す
●
DataLoader↓


# Page. 27

![Page Image](https://bcdn.docswell.com/page/LJLZXM9X7R.jpg)

Taskset/TaskLoader
●
●
☆
すべてのタスクのgifと
pklの場所を保持し、
__getitem__で
1つのタスクの1つ~複数
のデモを管理する
DataLoderを渡す。
“q” =&gt;
“U” =&gt;
TaskLoader↓
TaskLoaderは出力がtorch.Tensorではないので、 torch.data.Dataset/DataLoaderを
Taskset/TaskLoaderの代わりに使うことができなかった。


# Page. 28

![Page Image](https://bcdn.docswell.com/page/47MVLYZ37W.jpg)

loss_all += loss &amp; loss.backward は危険かも
●
入力を変えつつlossを貯め続けてからbackwardしてるつもりでも
入力情報は蓄積し続ける(後述)。
●
●
→いちいちbackwardしとけばおｋ(後述)
Bには64個のタスクが含まれるので、
特にL_ctrを集めるときのメモリ使用量が爆発する


# Page. 29

![Page Image](https://bcdn.docswell.com/page/P7R2K96RJ9.jpg)

loss_all += loss &amp; loss.backward は危険かも
●
入力情報は勾配の計算に使われるので確保しておく必要がある


# Page. 30

![Page Image](https://bcdn.docswell.com/page/PJXDLQMYEX.jpg)

loss_all += loss &amp; loss.backward は危険かも
●
multi backward法
○
●
勝手に名前つけた
https://github.com/naruya/maml-py
torch/blob/develop/notebooks/pyto
rch_autograd.ipynb


# Page. 31

![Page Image](https://bcdn.docswell.com/page/3JKXL9G4ED.jpg)

loss_all += loss &amp; loss.backward は危険かも
●
loss周りの実装


# Page. 32

![Page Image](https://bcdn.docswell.com/page/LE353WNDJ5.jpg)

cos類似度lossの注意
●
片方は固定のnetworkを使うか両方更新する
かが必要。
●
今回、embの絶対値を限りなく大きくして
real-fakeを0に近づける局所解に陥りまくっ
た。
○
どっちもemb_netの出力を使い、メモリ節約のため片
方はno_gradにしていた。


# Page. 33

![Page Image](https://bcdn.docswell.com/page/8EDD4KW2EG.jpg)

retain_graph=True
●
●
●
迷ったらTrue
計算時間がほとんど変わらなかったらそのまま
メモリがヤバかったら考える。


# Page. 34

![Page Image](https://bcdn.docswell.com/page/V7PXMK9LE8.jpg)

実験結果
●
●
●
うーむ
embeddingだけ学習が進んだ
十分学習した後でもlossのオーダーが違う


# Page. 35

![Page Image](https://bcdn.docswell.com/page/2JVL9VM67Q.jpg)

おまけ: MILの実験(未だ格闘中)
●


# Page. 36

![Page Image](https://bcdn.docswell.com/page/5EGXZLG2JL.jpg)

おわり


