Monte Carlo Dropout法による不確実性を考慮した歩行者の移動予測(RSJ2022)

1.6K Views

September 29, 22

スライド概要

川住歩弥, 田村雄介, 平田泰久, "Monte Carlo Dropout法による不確実性を考慮した歩行者の移動予測", 第40回日本ロボット学会学術講演会, 4G1-02, 2022.

profile-image

東北大学大学院工学研究科ロボティクス専攻 田村研究室

シェア

埋め込む »CMSなどでJSが使えない場合

各ページのテキスト
1.

Smart Robots Design DEPARTMENT OF ROBOTICS TOHOKU UNIVERSITY Monte Carlo Dropout法による 不確実性を考慮した歩⾏者の移動予測 ○川住 歩弥(東北⼤) ⽥村 雄介(東北⼤) 平⽥ 泰久(東北⼤)

2.

背景︓移動ロボットでの安全性と効率の両⽴ u ⾃律型移動ロボットの公共空間での実⽤化 Ø 周囲に⼈がいる→⼈の安全確保が必要 Ø 移動ロボット →効率を求めることも必要 安全と効率を両⽴する⼿法 他者の移動を予測し,それに応じて動作決定 2022/9/29 Smart Robots Design Lab. 1

3.

関連研究 u 歩⾏者の移動予測⼿法 Ø 機械学習ベースの⼿法は数多く存在する uSocial LSTM(Alahi et al., 2016) uSocial GAN(Gupta et al., 2018) etc. 出⼒結果︓基本的に1点のみ u 1点での予測と結果の不確実性 Ø 移動には様々な可能性が存在 Ø 1点の予測︓1つの可能性しか考慮できない ︓予測の結果 ︓実際の結果 1点の予測で全て考慮するのは難しい 2022/9/29 Smart Robots Design Lab. 2

4.

関連研究 u 歩⾏者の移動予測検証 Ø ⼿法の検証には⿃瞰視点のデータセットが多く使われる uStanford Drone Dataset(Robicquet et al. 2016) uETH dataset(Pellegrini et al. 2009) etc. u ⿃瞰視点 Ø 歩⾏者の位置が観測できる Ø 移動ロボットでの撮影は難しい そのまま移動ロボットに適⽤するのは難しい 2022/9/29 Smart Robots Design Lab. 3

5.

研究⽬的 u 安全と効率を両⽴した移動ロボットのための 歩⾏者の移動予測 研究⽬的 移動ロボットから得られた歩⾏者の移動情報から 不確実性を考慮した歩⾏者の移動予測を⾏う 2022/9/29 Smart Robots Design Lab. 4

6.

アプローチ u 移動ロボット視点での歩⾏者推定 Ø 移動ロボットにカメラを搭載すると⼀⼈称視点となる ⼀⼈称視点 + 深度センサ ・移動ロボットから撮影可能 ・⿃瞰視点と似たデータ →⿃瞰視点の⼿法が使⽤できる u 不確実性を考慮した予測 Ø 複数の予測︓様々な可能性を考慮できる 予測の不確実性に強くなる 2022/9/29 Smart Robots Design Lab. ︓予測の結果 ︓実際の結果 5

7.

⼿法︓歩⾏者の位置推定 u ⼀⼈称視点での歩⾏者検出 Ø Posenet︓画像から⼈の姿勢を推定 u画像から歩⾏者を検出 Ø RGB-Dカメラ︓RGB画像とDepth画像を撮影 uPosenet⽤のRGB画像を撮影 uDepth画像から歩⾏者の位置を推定 2つを組み合わせて,⼀⼈称視点でカメラに対する位置を推定 2022/9/29 Smart Robots Design Lab. 6

8.

⼿法︓機械学習による歩⾏者の移動予測 u 予測結果を⽤いた回避 Ø リアルタイム性が必要 Ø 歩⾏者の移動は約1.3m/sec. ⾼いフレームレート(例︓0.1秒間隔)で 予測する必要はないのでは︖ u 歩⾏者の移動に基づいた予測 Ø 歩⾏者は歩み(約2歩/sec.)で移動 本研究︓0.5sec.毎の移動を予測 →各歩みでの移動情報を得て,回避に応⽤ ※1秒の⼊⼒から,[0.5, 1.0, 1.5, 2.0]sec.後の予測を⾏う 2022/9/29 Smart Robots Design Lab. 7

9.

⼿法︓機械学習による歩⾏者の移動予測 u LSTMでの特徴量抽出 Ø 時系列を考慮した特徴量を抽出 u 特徴量からの予測 Ø 0.5秒の予測 u特徴量のみ Ø 1.0秒以降の予測 u特徴量+それ以前の予測結果 ・計算量減少 ・以前の予測を考慮→精度向上 2022/9/29 Smart Robots Design Lab. 8

10.

⼿法︓学習モデルを⽤いた不確実性考慮 u Bayesian Neural Networkと予測の不確実性 Ø ⼀般的な機械学習→⼊⼒と出⼒が1対1 ⼊⼒A 𝑤! 𝑤" 出⼒A Ø Bayesian Neural Network(BNN) uモデルの重みが確率で変化するため,同じ⼊⼒でも出⼒が変化 確率的に出⼒が変化するので,不確実性が予測できる ⼊⼒A 𝑃 𝑤! 𝑃 𝑤" 出⼒A 出⼒B … 2022/9/29 Smart Robots Design Lab. 9

11.

⼿法︓学習モデルを⽤いた不確実性考慮 u Monte Carlo Dropout(MCD) (Gal et al. 2016) Ø Dropoutを使うことで,近似的にBNNを再現 Ø 学習時に使うDropoutを推論時にも使⽤する u MCDの実装 1. DropoutをONにして推論を実⾏ 2. 1つのデータに対して1を繰り返す 1つの⼊⼒に対する出⼒の分布が得られる 出⼒1 … … ⼊⼒ 出⼒N 2022/9/29 Smart Robots Design Lab. 10

12.

検証実験︓LSTMの学習 u LSTMの学習 Ø Stanford drone datasetを使⽤ u⿃瞰視点のデータセット u使⽤したデータ数 ・学習︓39749個 ・検証︓2598個 Ø 学習条件 u⼊⼒︓過去1秒 u出⼒︓1秒後 [2] Ø 学習したLSTMを本研究のモデルに使⽤ [2]A. Robicquet, et al., Learning Social Etiquette: Human Trajectory Prediction In Crowded Scenes in European Conference on Computer Vision (ECCV), 2016. 2022/9/29 Smart Robots Design Lab. 11

13.

検証実験︓⼀⼈称視点でのデータ収集 u RGB-Dカメラによるデータ収集 Ø 場所︓東北⼤学⼯学部共同棟1F Ø カメラ︓Intel Realsense D435i 出⼊⼝ 階段 ・LSTM以外のモデル学習に使⽤ ・テストデータとして評価に使⽤ 2022/9/29 Smart Robots Design Lab. 出⼊⼝ 12

14.

検証実験︓Monte Carlo Dropoutの結果 u 学習条件 Ø ⼊⼒︓1sec.分のデータ Ø 出⼒︓[0.5, 1.0, 1.5, 2.0]sec.後 u 推論条件 ・モデル⼊⼒︓⿊実線 ・モデル出⼒︓⿊破線 拡⼤図 Ø Dropout率︓1% Ø 繰り返し回数︓50回 u 予測結果の例 Ø MCDによって複数の予測が⽣成 Ø モデルより⾼い精度の予測も⽣成 2022/9/29 Smart Robots Design Lab. 15

15.

検証実験︓Monte Carlo Dropoutの結果 u 予測位置と実際の位置の距離誤差 Ø MCDは複数の予測が出⼒される 予測の中で⼀番真値に近いもので評価する テストデータの平均距離誤差 0.5(sec.) 1.0(sec.) 1.5(sec.) 2.0(sec.) 等速度運動 0.520 1.00 2.06 2.75 作成したモデル 0.338 0.601 0.965 1.35 0.143 0.237 0.336 0.453 提案⼿法 MCDを⽤いた提案⼿法によって誤差が⼤きく減少 2022/9/29 Smart Robots Design Lab. 17

16.

検証実験︓Monte Carlo Dropoutの結果 u 不確実性の評価 Ø MCDによって得られた予測をどの程度信頼できるかを確認 衝突回避のために考慮すべき要素 1. ⼈の体の⼤きさ p ⼈の肩幅は0.4~0.5m 2. ロボット⾃体の⼤きさ(0.5~1.0m) [5] p 荷物などを載せるために⼤きくなっている 3. センサの測定誤差 p Realsenseでは2mで2%未満(4cm未満) p 対象が遠くなるほど,精度が悪化する [6] [7] 距離誤差が1m以下のデータの割合を確認 [5] https://www.zmp.co.jp/products/lrb/deliro [6] https://www.elmo.co.jp/product/robot/bellabot/ [7] https://whill.inc/jp/model-c2 2022/9/29 Smart Robots Design Lab. 18

17.

検証実験︓Monte Carlo Dropoutの結果 u 不確実性の評価 距離誤差が1m以下となるデータの割合 0.5(sec.) 1.0(sec.) 1.5(sec.) 2.0(sec.) 等速度運動 91.9 53.1 27.9 13.7 作成したモデル 97.2 82.4 63.1 51.7 提案⼿法 99.7 99.2 95.5 90.8 • 0.5sec.では⼤きな差はないが,2.0sec.では⼤きな差が発⽣ • 提案⼿法を使⽤することで,2.0sec.後でも90%以上となった MCDを⽤いた⼿法によって予測の不確実性に強くなった 2022/9/29 Smart Robots Design Lab. 19

18.

まとめと今後の展望・予定 u 不確実性を考慮した移動ロボットの歩⾏者の移動予測 Ø ⼀⼈称視点での歩⾏者の検出 Ø 機械学習による移動予測 Ø Monte Carlo Dropoutによる不確実性の考慮 2.0sec.後の予測でもデータの90%以上の距離誤差が1m以下 →不確実性を考慮した予測となった u 今後の展望・予定 Ø 移動ロボットに適⽤する 2022/9/29 Smart Robots Design Lab. 20