[ROBOMECH2024] 不確実性を考慮した歩行者軌道予測への姿勢情報の統合

不確実性を考慮した歩行者軌道予測への姿勢情報の統合 Posture Information Integration into Pedestrian Trajectory Prediction Considering Uncertainty ○ 只野 竣也1) 正 田村 雄介 1) 正 平田 泰久 1) ○Shunya TADANO 1) Yusuke TAMURA1) Yasuhisa HIRATA 1) 1) 東北大学 (Tohoku Univ.) Abstract - For autonomous mobile robots, ensuring safe and efficient navigation is critically important. Especially, enhancing the accuracy of pedestrian trajectory prediction is a vital challenge for the deployment of robots in public spaces. This study sought to improve prediction accuracy by integrating pedestrian posture information into the prediction model. Utilizing a posture estimation model to gather posture data from a first-person RGB-D camera demonstrated superior performance in both Average Displacement Error (ADE) and Final Displacement Error (FDE). Additionally, we used Monte Carlo Dropout to consider uncertainty in the predictions, and we were able to significantly reduce the FDE. In the future, we plan to validate the generalization capability of the prediction model by using datasets from more complex scenarios. 目的｜歩行者の姿勢情報に基づく移動予測モデルによる予測精度の向上 緒言 歩行者軌道予測 軌道予測に基づく衝突回避の課題 歩行者軌道の予測は，人間と同じ環境を共有する自律移動 ロボットのナビゲーションシステムにおいて必要不可欠で ある．これまで歩行者軌道予測の手法は，ロボットと人・ 障害物との関係を仮想的な場や力で表現するモデルベース の手法と，歩行者の過去の軌道から将来の軌道を予測する 学習ベースの手法の二つが主に提案されている． • 歩行者の移動軌道予測には不確実性が存在 道が複雑に交錯 している環境 歩行者の突然の 方向転換 こちらに注意が 向いていない 予測の失敗による衝突，ロボットのフリーズ 様々な可能性の考慮が必要 [1] 従来手法：Monte Carlo Dropout による不確実性の考慮 • 一人称視点での歩行者の検出 • 位置情報を用いた歩行者の予測 入力 推論 出力 歩行者位置 (2次元) 歩行者の重心位置を取得 0 歩行者の姿勢の考慮がない • 歩きスマホをしている人 • 歩行者の突然の方向転換 • 一回の入力に対して複数回出力 • 毎回重みをランダムに０に設定 一回の入力に対して複数 の異なる予測を出力 提案手法：一人称視点を用いた歩行者のふるまいの推定 • RGBDカメラを用いた歩行者情報の取得 • 姿勢推定を用いた歩行者予測 RGBDカメラを用いた位置推定・姿勢推定 歩行者位置の計測 RGBDカメラのピクセル値と深度情報を用いて，歩行者の位置を推定 した．歩行者の位置を取得するために，画像のピクセル座標から空間 座標に座標変換した． Pose 𝒑𝒕 歩行者姿勢の計測 姿勢推定モデル OpenPose を用いて歩行者の姿勢を取得し， 歩行者の ふるまいを考慮した学習モデルを構築する．OpenPose を用いること で，人の主要な関節のピクセル座標が得られる．これを用いて歩行者 の移動軌道の学習データを作成する． OpenPoseを用いて得られた 骨格点（18点）

歩行者移動予測モデル 15 steps 30 steps 38 Adam 損失関数 MSE • 歩行者の2秒後（30ステップ）までの将来軌道を出力 計測データ 骨格点 (18×2次元) ピクセル座標 RGBDカメラを用いて歩行 者の動作を15 fps で計測 推論 学習モデル 特徴量 位置 (2次元) 平面座標 LSTM 歩行者の移動軌跡から 潜在変数を生成 FC Layer 潜在変数に基づいて 将来軌道を予測 Dropout モデルのパラメータを ランダムに調整 FC Layer 出力 50 … • 入力として過去1秒間（15ステップ）の歩行者の位置・ 姿勢を使用 入力 出力 特徴量 最適化アルゴリズム … • 一人称視点のカメラで得られた歩行者の平面座標を もとに歩行者の将来の移動軌道を予測するモデルを作成 一回の入力に対し て複数の異なる予 測を出力 繰り返し予測に よる分布的な出力 20 steps 30 steps 実験 歩行者の計測とモデル評価 不確実性の考慮 屋内で計測したRGBDカメラによる歩行データを用いて予測 モデルの性能を評価した．計測データから学習データ297個 とのテストデータを127個作成し，評価は，予測誤差は平均 変位誤差(ADE)と最終変位誤差(FDE)で行った． 評価指標 • Average Displacement Error (ADE) 𝑇 σ𝑡 ′=1 𝑥𝑡 ′ − 𝑥ො𝑡 2 + 𝑦𝑡 ′ − 𝑦ො𝑡 ′ 2 𝐴𝐷𝐸 = , 𝑇 • Final Displacement Error (FDE) 𝐹𝐷𝐸 = 10 steps 位置＋姿勢 𝑥𝑇 − 𝑥ො𝑇 2 + 𝑦𝑇 − 𝑦ො𝑇 2 モデル 位置 位置＋姿勢 位置＋姿勢＋MCD ADE [m] FDE [m] 1.46 1.70 1.19 1.61 0.02 0.04 歩行者の姿勢を用いることで予測精度が向上した 10 steps 20 steps 30 steps 位置＋姿勢＋MCD MCDによって真値に近い歩行者の予測軌道を予測できた • 歩行者の移動方向が明確になった 結言 歩行者予測モデルにおいて，不確実性の考慮と姿勢推定を統合した手法を提案した． まとめ 展望 • 歩行者の姿勢推定を用いることで軌道予測の精度が向上した • Monte Carlo Dropout を用いることで，真値に非常に近い軌 跡を出力し，予測不確実性を考慮することができた． • 予測モデルの精度向上 • より複雑な歩行者環境での予測 • 歩行者の歩行特徴を学習に利用（e.g. 視線） 謝辞 参考文献 本研究は公益財団法人スズキ財団2022年度課題提案型研究助 成の支援を受けたものです． [1] 川住歩弥, 田村雄介, 平田泰久. Monte Carlo Dropout 法による不確実性を考慮した歩 行者の移動予測. 第40回日本ロボット学会学術講演会，4G1-02, 2022.