[RSJ2025] 自律移動ロボットのための3D骨格情報に基づく歩きスマホ検出

第43回日本ロボット学会学術講演会 3J3-03 9月5日(金) 14:00～ 自律移動ロボットのための 3D骨格情報に基づく歩きスマホ検出 〇只野 竣也（東北大） 田村 雄介（東北大） 平田 泰久（東北大）

緒言 1 自律移動ロボットは、人の生活空間での応用が進んでいる ⚫ 移動の利便性の向上、省力化が期待されている 空港の送迎 飲食店の配膳 薬剤の配送ロボット オフィスロボット 歩行者環境では、安全かつ効率的な移動が重要 人との衝突を避ける 目的地へ早く着く 歩行者が通りそうな場所を予測する なるべく止まらないようなロボットの移動

歩行者の軌道予測 2 人の歩行特徴を利用した予測 ⚫ 人は互いの姿勢や視線を通じて、歩行や行動の意図を予測している [1] 自動運転車のための歩行者の予測[2] ⚫ 横断の意図ありとなしを判別 移動ロボットへの適用 ⚫ 複数の予測軌道出力による不確実性考慮[3][4] ⚫ 一つの入力に対して予測を複数出力することよって、 予測不確実性を考慮 ⚫ 正規分布をもとに予測を反復的に出力し、 複数の経路を出力 [1] Salzmann, Tim, et al. "Robots that can see: Leveraging human pose for trajectory prediction." IEEE RA-L (2023). [2] Rasouli, Amir, et al. “Pie: A large-scale dataset and models for pedestrian intention estimation and trajectory prediction.” ICCV. 2019. [3] Gupta et al. "Social gan: Socially acceptable trajectories with generative adversarial networks." CVPR 2018 [4] Salzmann, Tim, et al. "Trajectron++: Dynamically-feasible trajectory forecasting with heterogeneous data." ECCV 2020

緒言 3 歩行者の軌道予測の分布出力[5] 位置 … 骨格点 … 入力 → 真値＋予測 予測軌道のコストマップ生成[6] ⚫ コストマップよる経路生成 歩行者 不確実性を 考慮した予測 MCD無 予測軌道 MCD 歩行者の軌道予測によって歩行者との安全な距離を確保 [5] 只野ら，日本機械学会ロボティクス・メカトロニクス講演会2024, 2P2-N01 [6] 只野ら，日本機械学会ロボティクス・メカトロニクス講演会2025, 2P1-E05

緒言 4 人とロボットが安全に共存するためには、人の予期せぬ行動への対応が不可欠 ⚫ 歩きスマホ状態の歩行者は、周囲への注意が散漫 ⚫ 10～30代で6割程度が歩きスマホを経験[7] ⚫ 予期せぬ挙動を取る可能性が高い ⚫ 歩行軌道の予測が難しい[8] 通常歩行 注意散漫 コストマップ生成による 適応的なナビゲーション 歩きスマホの歩行者を検出する手法が求められる [7] 株式会社NTTドコモ モバイル社会研究所，モバイル社会白書 2021 年版 [8] Murakami et al. Science Advances 7.12 (2021): eabe7758.

本研究の目的と提案システム 5 目的 注意散漫な歩行者を考慮したロボットの安全かつ効率的な移動 手法 移動ロボットのための歩行者の姿勢変化を捉えた歩きスマホの検出 … … 骨格点 位置 注意度推定 歩きスマホ検出による コストマップ生成の調整 不確実性を 考慮した予測 予測に基づく 経路生成

歩きスマホ検出に関連する研究 6 LiDARによる検出手法[9] 2D骨格推定ベースの検出手法[10] ⚫ 遠方の歩行者の点群が粗く、詳細な姿勢 を捉えられないことがある ⚫ 2D画像から姿勢の推定が可能だが、奥行き 情報が欠落している 適応的なナビゲーションのためには、3次元的な姿勢変化をとらえた 歩きスマホの歩行者検出を行う必要がある [9] Wu et al.,IEEE Robotics and Automation Letters, vol. 5, no. 2, pp. 2256–2263, 2020. [10] 川住ら，第 22 回計測自動制御学会システムインテグレーション部門講 演会講演論文集, 3D4-07, 2021.

手法 7 Classifier 適応的なナビゲーションのためには、3次元的な姿勢の特徴をとらえた 注意散漫な歩行者の検出を行う必要がある Walking 3次元骨格推定 3D骨格キーポイントによる姿勢推定 Phone 姿勢による分類 ランダムフォレストによる 歩行者の分類

手法 8 3D骨格キーポイントの取得 腰 𝑝24 ⚫ RGB 画像から 3D 骨格キーポイント（𝒑 = {𝑝1 , … , 𝑝33 }）を抽出 ⚫ MediaPipe BlazePose[11]を使用 ⚫ 人の画像上の位置や体格の影響を減らす ⚫ 腰（𝑝24 ）を原点とした正規化処理 𝒑′𝒊 = 𝒑𝒊 − 𝒑𝟐𝟒 [11] Bazarevsky et al. arXiv (2020)

手法 9 歩行者の分類 ⚫ リアルタイム推論性 ⚫ 分類結果の解釈性 ⚫ ランダムフォレストによる姿勢分類 ⚫ 「歩きスマホ」と 「通常歩行」に分類 ⚫ パラメータ ⚫ 決定木の数N：300 ⚫ 最大深度 ：20 ⚫ 特徴量 ⚫ 正規化した3D骨格キーポイント 𝒑𝒊 = (𝑝𝑥 , 𝑝𝑦 , 𝑝𝑧 ) の99次元を使用 Instance … Result 1 Result 2 Final Class Result N

実験 10 ①データセットを作成し、分類結果を評価 ②分類モデル実装による推論の評価 ⚫ データセット ⚫ 公開データセットJRDB[12]より画像を収集し、アノテーション 通常歩行 歩きスマホ [12] Martin-Martin et al. IEEE transactions on pattern analysis and machine intelligence 45.6 (2021): 6748-6765.

結果 11 ①データセットを作成し、分類結果を評価 ⚫ 学習データ数： ⚫ 訓練データ ：243 通常歩行：97，歩きスマホ：146 ⚫ テストデータ：61 通常歩行：24，歩きスマホ：37 ⚫ 結果 ⚫ 正解率：95.1% データセット内の分類で高い正解率を達成

考察 12 各特徴量の分析 Y_left_wrist Y_left_index Y_left_pinky Y_right_thumb Y_left_thumb Y_right_pinky Y_right_wrist Y_right_index Y_right_eye X_right_eye_oute r 手の高さ方向や頭部の重要度が高い ↓ 「手の位置」や「頭部の位置」に関する骨格情報が 人の注意状態を識別する上で有効という解釈性も得られた 𝑦 𝑥 𝑧

リアルタイム実装による検証 ②分類モデル実装による推論の評価 ⚫ 使用機器 ⚫ Jetson AGX Orin ⚫ カメラ：RealSense D455 ⚫ カメラ環境 ⚫ 640x480ピクセル ⚫ 30FPS ⚫ 分類結果を確信度でリアルタイム表示 結果 ⚫ リアルタイムの映像に対して、 常に「歩きスマホ」を検出 ⚫ 骨格の検出距離が3m程度 13

まとめ 目的 ⚫ 注意散漫な歩行者を考慮したロボットの安全かつ効率的な移動 手法 ⚫ 3D骨格キーポイントを用いた歩きスマホの歩行者検出 結果 ⚫ 作成したデータセットでの分類結果は正解率95.1% ⚫ リアルタイムでの姿勢分類も可能 展望 ⚫ 遠方における歩きスマホ歩行者の検出の検討 ⚫ ロボットのナビゲーションへ統合し、衝突回避性能について評価 14