【DL輪読会】Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation

756 Views

February 02, 24

スライド概要

シェア

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

DEEP LEARNING JP [DL Papers] Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation Koki Yamane, University of Tsukuba http://deeplearning.jp/ 1

2.

書誌情報 題名 Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation 著者 Zipeng Fu (1) Tony Z. Zhao (1) Chelsea Finn (1) 所属 (1)Stanford University 会議 arXiv (2024/1/4) URL https://arxiv.org/abs/2401.02117 概要 ⚫ 低コストな双椀モバイルマニピュレータ「Mobile ALOHA」を開 発 ⚫ 双椀モバイルマニピュレータで模倣学習 2024/2/2 2

3.

2024/2/2 3

4.

従来手法:ALOHA 低コストの双腕遠隔操作ハードウェア 2024/2/2 4

5.

提案手法: Mobile ALOHA ALOHAに台車を加えてモバイルマニピュレータ化 2024/2/2 5

6.

従来手法: Action Chunking with Transformers (ACT) Transformerを用いたCVAEで現在の状態から次の数ステップの行動を予測 動作のスタイルを表す潜在変数 (操作者による癖などを表現) 次の1ステップではなく 次の数ステップの行動を同時に予測 4つのカメラの画像と各関節の角度を入力 2024/2/2 自律動作時の潜在変数は0 6

7.

従来手法: Action Chunking with Transformers (ACT) Transformerを用いたCVAEで現在の状態から次の数ステップの行動を予測 ◼ Action Chunking  次の数ステップをまとめて予測 ◼ 一連の動作をまとめて扱う ◼ 非マルコフ性に対応  1ステップごとの生成では,一時停止と 終了時の停止を見分けるのが難しい ◼ Temporal Ensemble  チャンクを毎ステップ出力し加重平 均を取ることで滑らかにつなぐ  チャンクの境目で急な動作になるの を防ぐ 2024/2/2 7

8.

実験 ◼ 7つのタスクで検証 ◼ 教示データ50回分,自律動作20回(Cook Shrimpのみ各20回,5回) ◼ Co Training  移動なしALOHAのデータを一緒に学習 2024/2/2 8

9.

実験結果 多くのタスクで80%超えの成功率を達成 Cook Shrimpのみ 成功率80%未満 タスクが長いから? 2024/2/2 9

10.

実験結果 ACTが最も高い成功率を達成 2024/2/2 10

11.

まとめ ◼ 低コスト双椀マニピュレータALOHAに台車を統合 ◼ 双椀モバイルマニピュレータで模倣学習 ◼ 7つの実機タスクで実験,6つのタスクで80%を超える成功率を達成 ◼ 感想  とにかくデモが面白い  ACTとDiffusion Policyの比較が興味深かった ◼ ACTのほうが性能高い結果になっているがデータ数やタスクによって変わる? 2024/2/2 11