--- title: 【論文読み会】LidarGait: Benchmarking 3D Gait Recognition with Point Clouds tags: author: [京都大学人工知能研究会KaiRA](https://www.docswell.com/user/kyoto-kaira) site: [Docswell](https://www.docswell.com/) thumbnail: https://bcdn.docswell.com/page/V7P6XNR3J8.jpg?width=480 description: 【論文読み会】LidarGait: Benchmarking 3D Gait Recognition with Point Clouds by 京都大学人工知能研究会KaiRA published: March 06, 24 canonical: https://www.docswell.com/s/kyoto-kaira/Z8GPX2-2024-03-06-183504 --- # Page. 1 ![Page Image](https://bcdn.docswell.com/page/V7P6XNR3J8.jpg) 2023年度論文読み会＃8（3Dデータ論文読み会＃2） LiDAR点群データを用いた歩行認識「LidarGait」 京都大学理学部 3回生 松田拓巳 0 # Page. 2 ![Page Image](https://bcdn.docswell.com/page/2JV3LKRNEQ.jpg) ■3D論文読み会について ⚫ 週1回ペースで3D×機械学習に関連する論文読み会を実施 ⚫ 全7回を予定し、3回分は認識系、4回分は生成系を読む ⚫ 発表予定の1週間前までに発表する旨を#generalで告知 ⚫ • 発表する日時（基本は火曜19時～ですが都合により変更も可） • 論文名とそのリンク • 認識系 or 生成系 発表希望者がいない回は松田が発表します 1 # Page. 3 ![Page Image](https://bcdn.docswell.com/page/5EG3XQM57L.jpg) ■論文の探し方（例） ⚫ Google Scholar や X，arXiv，CVPR，Microsoft Academicなど で検索して探す ⚫ • “3D deep learning” • “3D recognition” • 興味のある分野のwordを入れても良いかも（ex. 自動運転） Paper with codeのBrowse State-of-the-Artで性能の良い モデルの論文を探す 2 # Page. 4 ![Page Image](https://bcdn.docswell.com/page/4JQ58KRL7P.jpg) LidarGait: Benchmarking 3D Gait Recognition with Point Clouds 目次 1. 歩行認識の概要 2. データセット：SUSTech1K 3. モデル：LidarGait 4. 精度検証 3 # Page. 5 ![Page Image](https://bcdn.docswell.com/page/K7492P85E1.jpg) 1. 歩行認識の概要 4 # Page. 6 ![Page Image](https://bcdn.docswell.com/page/LJ1KM9227G.jpg) 1. 歩行認識の概要 1.1 歩行認識（gait recognition） ⚫ 歩行する人物のデータ（画像群、3Dデータ群）から、その人がどの人物かを同定するタスク ⚫ 物理的接触なしに遠距離から人物を特定できる 5 # Page. 7 ![Page Image](https://bcdn.docswell.com/page/GJWD3QR272.jpg) 1. 歩行認識の概要 1.2 カメラベースの手法 ⚫ 通常のカメラ画像から得られるシルエットをもとに推定する 主な手法 • 左図のように単一視点からの情報から人物 を同定する • 3D表現を推定してから、人物を同定する 問題点 • 低解像度，暗い，未知の姿勢などの悪条件 に弱い（＝実環境に応用しづらい） 6 # Page. 8 ![Page Image](https://bcdn.docswell.com/page/4EZGVWR4J3.jpg) 1. 歩行認識の概要 1.3 LiDARベースの手法 ⚫ LiDARから得られる点群をもとに推定する LiDARの原理 • レーザー光を照射し、反射して返ってくる までの時間から距離がわかる メリット • 3次元的な情報が使える デメリット • センサーが高価 7 # Page. 9 ![Page Image](https://bcdn.docswell.com/page/Y76Y5GRGEV.jpg) 1. 歩行認識の概要 1.4 本論文のポイント ⚫ カメラ画像＆LiDARによる点群データを集めた初の大規模データセットを構築 ⚫ 屋外環境での歩行認識で、カメラベースの手法を上回る精度を達成 SUSTech1Kデータセット LiDARGait 8 # Page. 10 ![Page Image](https://bcdn.docswell.com/page/G75GYV8X74.jpg) 2. データセット：SUSTech1K 9 # Page. 11 ![Page Image](https://bcdn.docswell.com/page/9J2YG3KQJR.jpg) 2. データセット：SUSTech1K 2.1 SUSTech1Kのポイント ⚫ 既存の点群データセットに比べて大規模 ⚫ 点群だけでなくカメラ画像、シルエットも含まれている ⚫ 屋外環境で収集されている 画像出典：Shiqi Yu, Daoliang Tan, and Tieniu Tan. A framework for evaluating the effect of view angle, clothing and carrying condition on gait recognition. In ICPR, pages 441–444, 2006. 1, 3, 4, 6, 7 10 # Page. 12 ![Page Image](https://bcdn.docswell.com/page/DEYGV1NYEM.jpg) 2. データセット：SUSTech1K 2.2 収集方法 ⚫ 大学キャンパス内の３地点で実施（Scene1～Scene3） ⚫ 往復経路（橙色）と片道経路（青）を歩かせる（下図） ⚫ 普通に歩く場合（Normal）と、変則的な場合（Variance）で歩かせる 11 # Page. 13 ![Page Image](https://bcdn.docswell.com/page/VJNGM2XR78.jpg) 2. データセット：SUSTech1K 2.3 データ例 12 # Page. 14 ![Page Image](https://bcdn.docswell.com/page/YE9WN18ZE3.jpg) 3. モデル：LidarGait 13 # Page. 15 ![Page Image](https://bcdn.docswell.com/page/GE8NK4ZY7D.jpg) ■補足｜人物同定の方法 ⚫ データベース上の各個人の特徴ベクトルと、今得られた特徴ベクトルを比較し、人物を同定 データベース （gallery set） 認識対象 （probe set） 14 # Page. 16 ![Page Image](https://bcdn.docswell.com/page/LELPZ6D97R.jpg) ■補足｜距離学習（Metric Learning） 参考記事：https://qiita.com/tancoro/items/35d0925de74f21bfff14 ⚫ 人物同定タスクをクラス分類として解く場合、新しい人物を追加するごとに再学習の必要 ⚫ Triplet Lossを使って、同じ人物のNN出力は近くなるように、違う人物のNN出力は遠くなるよ うに学習させる（Metric Learning） 15 # Page. 17 ![Page Image](https://bcdn.docswell.com/page/4JM4V5PV7W.jpg) 3. モデル：LidarGait 3.1 モデルの内容 𝑗 𝑗 1. 各時刻における点群データ𝑃𝑖 から、RGBDデータを生成：𝒢(𝑃𝑖 ) 𝑗 𝑗 2. RGBDデータをGaitBase（畳み込みNNモデル）に入力して特徴量を得る：𝑓𝑖,𝑡 = 𝒮 𝒢 𝑃𝑖,𝑡 3. 特徴量をSet Poolingで時間方向に集約：𝒯 𝒮 𝒢 𝑃𝑖,1 , ⋯ , 𝒮 𝒢 𝑃𝑖,𝑇 4. 集約特徴量を距離学習モデルに入れ、人物同定用の特徴量を得る 16 # Page. 18 ![Page Image](https://bcdn.docswell.com/page/PJRW231W79.jpg) 3. モデル：LidarGait 3.2 モデルの詳細 幾何学的変換 1 atan2 𝑦, 𝑥 Δ𝜃 1 𝑧 𝑐= arcsin Δ𝜙 𝑥 2 + 𝑦2 + 𝑧2 𝑟= 出典：https://arxiv.org/abs/2211.06597 出典：https://arxiv.org/abs/1811.06186 17 # Page. 19 ![Page Image](https://bcdn.docswell.com/page/PEXPD4YV7X.jpg) 3. モデル：LidarGait 3.3 多視点版：MV-LidarGait ⚫ センサーからの視点だけでなく、他の視点からのRGBDも考慮するようにする • （センサーから見て）右側から見た視点＝Right-side-view • 上側から見た視点＝Bird-eye’s-view ⚫ 各視点のRGBDを𝒮に入れて、各出力を足し合わせる（他の部分は単一視点モデルと同じ） 18 # Page. 20 ![Page Image](https://bcdn.docswell.com/page/3EKDXZ35JD.jpg) 4. 精度検証 19 # Page. 21 ![Page Image](https://bcdn.docswell.com/page/L73R5DG1J5.jpg) 4. 精度検証 4.1 他モデルとの正解率比較 ⚫ カメラベースモデル、従来の点群ベースモデルを超える精度を達成 ⚫ カメラベースではNightで精度が著しく低いが、LiDARでは精度を維持できている 注1）GaitSet, GaitBaseはフレームの順序を考慮しないモデル、GaitPart, GaitGLは考慮するモデル 注2）Rank-1 accuracy：通常の正解率と同じ，Rank-5 accuracy：上位候補5個の中に正解が含まれる割合 20 # Page. 22 ![Page Image](https://bcdn.docswell.com/page/87DYDP1K7G.jpg) 4. 精度検証 4.2 視点角度による正解率比較 ⚫ カメラベースでは、galleryの視点とprobeの視点が±90度ズレていると低精度（紫部分） ⚫ LiDARベースでは、±90度ズレていてもそこまで精度は落ちない *galleryとprobeがわからない人はスライドp.14を参照！ 21 # Page. 23 ![Page Image](https://bcdn.docswell.com/page/VJP6XNQ3E8.jpg) 4. 精度検証 4.3 深度情報はどれだけ精度向上に貢献しているのか？ ⚫ 深度情報が含まれていない場合：LiDARシルエット＜カメラシルエット …… 点群の方が粗い・疎なので当然 ⚫ 深度情報を含む場合：LiDARシルエット＞カメラシルエット …… 3次元的な情報はかなり重要ということがわかる カメラ画像から得たシルエット画像 LiDAR点群から作ったシルエット画像 ↑に深度情報（奥行）を追加した画像 深度情報を入れたら 正解率が22ポイントUP 22 # Page. 24 ![Page Image](https://bcdn.docswell.com/page/2EV3LK5N7Q.jpg) 4. 精度検証 4.4 視点による正解率比較 ⚫ 単一視点なら、LiDAR視点が最も精度が良い ⚫ 複数視点を組み合わせることで、精度がわずかに改善 • 特に、傘を持っている場合の精度が改善している • 上からの視点（BEV）を加えても精度上がらず (Bird Eye’s View) (Right Side View) (Lidar Range View) 23 # Page. 25 ![Page Image](https://bcdn.docswell.com/page/57G3XQ65JL.jpg) ■補足｜傘を持っていると精度が下がる理由 ⚫ 傘を持っていると、身長が本来よりも小さく見えてしまう 24 # Page. 26 ![Page Image](https://bcdn.docswell.com/page/4EQ58K4LJP.jpg) 4. 精度検証 4.5 その他検証 ⚫ 入力フレーム数の影響 ⚫ GalleryとProbeのデータ種 ⚫ 次元削減マップ 変則的な歩行データ（variation）をGalleryにす るよりも、普通の歩行データ（normal）を Galleryにしたほうが精度が良い 注）フレームは連続ではなく、ランダムに選択 25 # Page. 27 ![Page Image](https://bcdn.docswell.com/page/KJ492PQ571.jpg) LidarGait: Benchmarking 3D Gait Recognition with Point Clouds まとめ まとめ１ LiDARセンサーとRGBカメラによって収集された大規模な歩行認識データセット まとめ２ LidarGaitは既存の点群ベース/シルエットベースのモデル精度を上回り、 「SUSTech1K」を構築した 角度や環境に影響されづらい安定的な人物同定が可能 26 # Page. 28 ![Page Image](https://bcdn.docswell.com/page/LE1KM9P2JG.jpg) 27