takumi-fu_mthesis_presentation

可視光映像と遠赤外線映像の融合による 気象変化の影響を最小化した 歩行者数推定手法の提案 Estimation of time- and weather-tolerant pedestrian counts using fused visible and far-infrared video 情報基盤システム学研究室 福田 匠

研究背景 1 • 現在の都市計画では歩道の整備が重要視 • 周辺小売店の収益増加に影響[1] • カフェやベンチ等の設置による賑わい創出[2] • 歩道利用状況のデータ収集が必要 • 車道上に設置されたCCTVカメラ （可視光カメラ）を利用 歩⾏者利便増進道路（ほこみち） 制度の詳細説明[2]より引⽤ [1]: Y. Yoshimura, Y. Kumakoshi, Y. Fan, S. Milardo, H. Koizumi, P. Santi, J. Murillo Arias, S. Zheng, and C. Ratti, “Street pedestrianization in urban districts: Economic impacts in spanish cities,” Cities, vol. 120, p. 103468, Jan. 2022. [2]: 国⼟交通省，「歩⾏者利便増進道路（ほこみち）制度の詳細説明」，2020年11⽉25⽇ (https://www.mlit.go.jp/road/hokomichi/pdf/detail.pdf) 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

歩道利用状況調査の課題と研究目標 2 歩道利用状況（通行数）の推定精度が低い 表1: 通行数推定精度の目標値を達成したCCTVカメラの割合[3] 混雑時 [7‒9時の1時間] 非混雑時 [9‒16時の2時間] 夜間 [20‒22時の1時間] 自動車 97.0% (77.6%) 96.6% (75.5%) 32.3% (24.1%) 歩行者類 1.2% (1.0%) - - • 比較内容：1時間の通行数 • 目標値 10%以内 • ()内は目標値 5%以内 夜間では自動車数の推定も困難 歩行者の推定精度はより低下すると予想 様々な環境の推定精度を未測定 あらゆる時間や天気における推定精度を 調査 研究目標: 時間や天気によらない歩行者数推定精度5%未満の達成 [3]:国⼟交通省道路局企画課道路経済調査室，国⼟交通省国⼟技術政策総合研究所道路研究室，“CCTV カメラ（AI 解析）の精度に関する報告”，https://www.mlit.go.jp/road/ir/ir-council/ict/pdf05/02.pdf，Sep. 2022． 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

• https://www.mlit.go.jp/road/ir/ir-council/ict/pdf05/02.pdf

予備実験の目的と準備 3 • 目的 • 可視光映像，遠赤外線映像，それぞれの 利用で目標を達成可能か調査 • 利用映像 遠赤外線カメラ • バス停上部に設置した可視光カメラと 遠赤外線カメラで撮影した映像 可視光カメラ • 撮影機材 • 可視光カメラ (600 800 pixel) • 遠赤外線カメラ (514 640 pixel) 図1: 神戸市三ノ宮山手駅デジタルサイネージと撮影用カメラ 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

遠赤外線映像を利用する理由 可視光映像 可視光映像を利用すると 夜間に歩行者を検出しづらい可能性 十分な照度が必要 遠⾚外線映像 物体の温度を映像に記録するため 夜間でも歩行者の検出に期待 照度を必要としない 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案 4

映像を用いた歩行者数推定手法 STEP 1 STEP 2 STEP 3 物体検出 5 nフレーム n+1フレーム n+2フレーム nフレーム n+1フレーム n+2フレーム 物体検出 物体検出器による各フレームごとの歩行者検出 1 物体追跡 1 物体追跡 物体追跡による各フレームの歩行者をIDで紐付け 2 3 歩行者数推定 ユニークなIDの数 = 歩行者数 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案 4 2 4 4 3 3 5 5名 1

映像を用いた歩行者数推定手法 STEP 1 STEP 2 STEP 3 物体検出 6 nフレーム n+1フレーム n+2フレーム nフレーム n+1フレーム n+2フレーム 物体検出 物体検出器による各フレームごとの歩行者検出 1 物体追跡 1 物体追跡 物体追跡による各フレームの歩行者をIDで紐付け 2 3 歩行者数推定 ユニークなIDの数 = 歩行者数 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案 4 2 4 4 3 3 5 5名 1

STEP 1 歩行者検出: YOLOXを用いた歩行者検出 • YOLOX[4] • MS COCO[5]の大規模な画像データセット で学習された事前学習済みモデルが利用可能 可視光映像を利用する場合， 事前学習済みモデルの利用によって， 歩行者を高精度に検出可能 • 大規模な画像データセットの準備が不要 • MS COCOでは遠赤外線映像のデータがない 遠赤外線映像を利用する場合 事前学習済みモデルを利用した場合， 低い検出精度 [4]:Z. Ge, S. Liu, F. Wang, Z. Li, and J. Sun, “YOLOX: Exceeding YOLO series in 2021,” July 2021, https://github.com/Megvii-BaseDetection/YOLOX [5]:T.-Y. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollar, and L. Zitnick, “Microsoft COCO: Common objects in context,” in ECCV. European Conference on Computer Vision, Sep. 2014. 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案 7

• https://github.com/Megvii-BaseDetection/YOLOX

STEP 1 歩行者検出: YOLOXの転移学習 転移学習 • 訓練用データ/検証用データ 既存の学習済みモデルのデータを利用したまま， 新たに追加したモデルのデータを学習する手法 • 3月の遠赤外線映像の約8000枚にアノテーション • 訓練用約5600枚，検証用約2400枚 • 事前学習済みモデル 遠赤外線画像と アノテーション情報 事前学習済みモデル • YOLOXリポジトリ内の事前学習済みモデルで 最高精度のものを利用 • 検出カテゴリ • 歩行者を対象にするため，“person”のみを指定 • “bicycle”や， “dog”は不使用 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案 8

STEP 2 物体追跡: BYTE 9 • BYTE[6] nフレーム • カルマンフィルタを用いた物体の 予測位置と実際の検出結果を比較して追跡 • オクルージョンに対応するために，高信頼 度の物体と低信頼度の物体を分けて追跡 パラメータ 値 追跡カテゴリ “person” 追跡する信頼度の最小値 0.25 IoUのしきい値 (予測結果と検出結果の重なり具合) 信頼度のしきい値 0.8 n-1フレーム n-2フレーム 1 or 2？ 1 カテゴリ: person 信頼度: 0.89 1 カテゴリ: person 信頼度: 0.92 カテゴリ: person 信頼度: 0.88 検出結果 予測結果 0.7 [6]: Y. Zhang, P. Sun, Y. Jiang, D. Yu, F. Weng, Z. Yuan, P. Luo, W. Liu, and X. Wang, “Bytetrack: Multi-object tracking by associating every detection box,” in Computer Vision – ECCV 2022. Cham: Springer Nature Switzerland, Oct. 2022, pp. 1–21. 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

予備実験で利用する映像の内訳と評価指標 10 実験に使⽤する映像の内訳 昼間 • 使用する映像 • 3月‒12月 • 時間や天気の影響を確認する • 映像は10fpsで10分間隔で撮影 • 評価指標 • 歩行者数の誤差率 • 目視確認した歩行者数と 検出・追跡した結果の歩行者数を比較 夜間 晴天時 雨天時 晴天時 雨天時 可視光映像（本） 14 14 14 14 遠赤外線映像（本） 14 14 14 14 平均歩行者数（人） 79.1 100.0 63.1 48.4 " ∑ 100 ∑" Predict − 𝑖 ! ! Correct𝑖 Error_rate = 𝑁 ∑" ! Correct𝑖 error̲rate: 誤差率（符号付き） N: 動画の総数 Correct: 正解歩行者数 Predict: 検出・追跡による歩行者数推定結果 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

予備実験結果 11 • 単純に映像を利用しても目標値5%には届かない 昼間の精度は目標値を達成 可視光映像を利用する場合は夜間に 誤差率が上昇 各条件における歩⾏者数推定の誤差率 昼間 夜間 晴天時 雨天時 晴天時 雨天時 可視光映像 (%) 4.9 (＋) 3.1 (＋) 7.0 (­) 7.6 (­) 遠赤外線映像 (%) 7.3 (­) 16.2 (­) 14.3 (­) 14.0 (­) 図中の記号(+,−)は誤差の正負を⽰す 例1: 推測103⼈，正解100⼈→3%(+) 例2: 推測97⼈，正解100⼈→3%(−) 遠赤外線映像はどの時間においても 誤差率が高い 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

予備実験の考察1: 時間ごとの可視光映像の推定精度検証 夜間の誤差率はマイナス方向に増加 10 Error rate [%] 12 5 夜間になると照度が低くなり， 0 歩行者を検出・追跡できていない可能性 −5 −10 −20 Daytime Night Time 晴天時 + ⾬天時における時間と誤差率の関係 昼間/晴天時の推定結果例 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案 夜間/⾬天時の推定結果例

予備実験の考察2: 天候ごとの可視光映像の推定精度検証 13 20 10 晴天時 Error rate [%] 5 夜間は自転車に乗った人物をブレて 撮影したことにより，見逃しが発生 した可能性 0 −5 −10 −20 Daytime Night Time 晴天時における時間と誤差率の関係 20 10 ・雨天時は傘によって歩行者の特徴 が隠されている可能性 ・黒い服装により背景と混同した 可能性 ⾬天時 Error rate [%] 5 0 −5 −10 −20 Daytime Night Time ⾬天時における時間と誤差率の関係 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

予備実験の考察3: 時間ごとの遠赤外線映像の推定精度検証 14 20 遠赤外線映像を用いた歩行者数推定は 時間の影響を受けないと推量 Error rate [%] 10 5 0 −5 −10 遠赤外線映像は物体の温度を映像に記録 するため，気温ごとに調査する必要性 −20 Daytime Night Time 晴天時 + ⾬天時における時間と誤差率の関係 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

予備実験の考察4: 気温ごとの遠赤外線映像の推定精度検証 15 気温24℃‒30℃付近で誤差率が増加 error rate [%] 20 背景の温度と歩行者の表面温度が近く， 歩行者を検出・追跡できない可能性 0 −20 10 15 20 25 30 temperature [℃] 晴天時 + ⾬天時における気温と誤差率の関係 11℃の推定結果例 27℃の推定結果例 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案 34℃の推定結果例

予備実験の考察 可視光映像 16 遠赤外線映像 昼間は高い推定精度 夜間に推定精度低下 時間に関係なく，歩行者の輪郭抽出 特定の気温で推定精度低下 双方の映像の利点を利用することにより， あらゆる時間/天気での歩行者数推定精度向上を期待 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

提案手法: 可視光映像と遠赤外線映像の融合 17 DenseFuseを用いた融合映像の作成 背景との混同 不⼗分な温度差 全ての歩⾏者検出を期待 昼間/晴天時の可視光映像 昼間/晴天時の遠⾚外線映像 昼間/晴天時の融合映像 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

本実験で利用する映像の内訳と評価指標 18 実験に使⽤する映像の内訳 昼間 • 使⽤する映像 • 予備実験で利⽤した映像どうしを融合 • 評価指標 晴天時 雨天時 晴天時 雨天時 可視光映像（本） 14 14 14 14 遠赤外線映像（本） 14 14 14 14 融合映像（本） 14 14 14 14 79.1 100.0 63.1 48.4 平均歩行者数（人） • 歩⾏者数の誤差率 • ⽬視確認した歩⾏者数と 検出・追跡した結果の歩⾏者数を⽐較 夜間 # 100 ∑# " Predict𝑖 − ∑" Correct𝑖 Error_rate = 𝑁 ∑# " Correct𝑖 error̲rate: 誤差率（符号付き） N: 動画の総数 Correct: 正解歩行者数 Predict: 検出・追跡による歩行者数推定結果 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

提案手法を用いた歩行者数推定の結果 19 融合映像 vs. 可視光映像 各条件における歩⾏者数推定の誤差率 昼間 ・融合映像は昼間/雨天時の誤差率が大きい ・融合映像は昼間/晴天時と夜間の誤差率が小さい 夜間 晴天時 雨天時 晴天時 雨天時 可視光映像 (%) 4.9 (＋) 3.1 (＋) 7.0 (­) 7.6 (­) 遠赤外線映像 (%) 7.3 (­) 16.2 (­) 14.3 (­) 14.0 (­) 融合映像 (%) 3.4 (＋) 5.1 (＋) 6.7 (­) 6.6 (­) 融合映像 vs. 遠赤外線映像 ・各条件で融合映像の方が誤差率が小さい 図中の記号(+,−)は誤差の正負を⽰す 例1: 推測103⼈，正解100⼈→3%(+) 例2: 推測97⼈，正解100⼈→3%(−) 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

時間ごとの可視光映像と融合映像の推定精度検証 20 融合映像を用いた場合でも，夜間の推定精度が 減少するという傾向は可視光映像と同様 20 Error rate [%] 10 可視光映像では追跡できなかった歩行者を， 融合映像では追跡する場面を確認 5 0 −5 −10 −20 visible fused Daytime Night Time 晴天時 + ⾬天時における時間と誤差率の関係 夜間/⾬天時の可視光映像 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案 夜間/⾬天時の融合映像

気温ごとの遠赤外線映像と融合映像の推定精度検証 20 error rate [%] error rate [%] 20 0 −20 10 21 0 −20 15 20 25 30 10 15 temperature [℃] 遠⾚外線映像における気温と誤差率の関係 20 25 30 temperature [℃] 融合映像における気温と誤差率の関係 融合映像を利用することによって 24℃‒30℃付近の推定精度低下を抑制 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

時間と天気毎に利用する映像を変更する場合 22 • 昼間 • 可視光映像を利用した歩行者数推定 各条件における歩⾏者数推定の誤差率 昼間 夜間 • 夜間 晴天時 雨天時 晴天時 雨天時 可視光映像 (%) 4.9 (＋) 3.1 (＋) 7.0 (­) 7.6 (­) 遠赤外線映像 (%) 7.3 (­) 16.2 (­) 14.3 (­) 14.0 (­) 融合映像 (%) 3.4 (＋) 5.1 (＋) 6.7 (­) 6.6 (­) • 融合映像を利用した歩行者数推定 時間帯によって利用する映像を切り替え， 歩行者数推定を行うとより精度が向上 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

気温24℃未満の場合の誤差率 昼間は可視光映像と融合映像が有効 夜間の晴天時には可視光映像が有効 夜間の雨天時には融合映像が有効 気温24℃未満のときの 各条件における歩⾏者数推定の誤差率 昼間 夜間 晴天時 雨天時 晴天時 可視光映像 (%) 2.1 (＋) 1.2 (＋) 1.0 (­) 10.7 (­) 遠赤外線映像 (%) 7.2 (­) 10.7 (­) 1.8 (­) 7.5 (­) 融合映像 (%) 1.0 (­) 2.0 (＋) 4.0 (­) 23 雨天時 6.5 (­) 昼間 夜間 晴天時 雨天時 晴天時 雨天時 可視光映像（本） 7 7 7 7 遠赤外線映像（本） 7 7 7 7 融合映像（本） 7 7 7 7 89.0 84.3 56.7 44.0 平均歩行者数（人） 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

気温24℃‒30℃の場合の誤差率 昼間は可視光映像が有効 夜間の晴天時は融合映像が有効 夜間の雨天時には可視光映像が有効 気温24℃–30℃以下のときの 各条件における歩⾏者数推定の誤差率 昼間 雨天時 可視光映像 (%) 6.6 (＋) 遠赤外線映像 (%) 9.6 (­) 融合映像 (%) 9.9 (＋) 遠⾚外線映像の誤差率が増加する気温のため， 昼間でも融合映像の誤差率が増加した可能性 夜間 晴天時 晴天時 雨天時 4.3 (＋) 12.7 (­) 10.7 (­) 16.5 (­) 18.2 (­) 36.9 (­) 7.6 (＋) 11.3 (­) 24 16.4 (­) 昼間 夜間 晴天時 雨天時 晴天時 雨天時 可視光映像（本） 5 5 5 5 遠赤外線映像（本） 5 5 5 5 融合映像（本） 5 5 5 5 67.0 97.2 75.8 24.4 平均歩行者数（人） 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

気温30℃超過時の誤差率 25 気温が30℃を超過する場合には， 遠赤外線映像が有効と考察 気温30℃超過時の 各条件における歩⾏者数推定の誤差率 昼間 サンプル数を増やす必要性 晴天時 可視光映像では，オクルージョンによって 過剰推定が発⽣ 可視光映像 (%) 12.7 (＋) 昼間 遠赤外線映像 (%) 2.7 (­) 融合映像 (%) 7.3 (＋) 夜間 晴天時 雨天時 晴天時 雨天時 可視光映像（本） 2 0 0 0 遠赤外線映像（本） 2 0 0 0 融合映像（本） 2 0 0 0 75.0 - - - 平均歩行者数（人） 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

まとめ 26 • 歩道利⽤状況調査の推定精度が低いことが課題 • 歩道にカメラを設置し，高解像度に映像を撮影 • 可視光映像と遠赤外線映像を利用する場合の誤差率増加条件を調査 • 融合映像を利用することで，単体の映像を利用するよりも精度改善 • 融合映像を利用する場合では目標値まで1.2%の精度改善が必要 • 時間や気温天気ごとの映像の切り替えにより精度向上の見込み 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

今後の展望 27 • 全パターンの誤差率を 5%未満にする • 融合映像を転移学習させた物体検出器の利用 • 追跡アルゴリズムのパラメータ調整 • 歩行者数推定以外のデータ取得 • 移動方向の取得により，歩行者がどの方向に何人移動したかのデータ取得を期待 • 自転車やペットなどの追跡により，歩行者のメタデータ取得を期待 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

補⾜資料 Appendix

更新内容 3 29 • 誤差率を5%未満にする理由がほしい • スマートシティの要件として必要なことがほしい • シャッタースピードの話をAppendixに追加 • 本資料にはぼやけて撮影されたってことが重要 • 映像の本数を述べているが，1つの映像でどれくらいの人数が通ったのかがわからない． • 注釈で1本が何分の映像なのかも書くこと • できれば，利用した映像は，バス停に並んでない時間帯を選択したことを示したい． • なぜDensefuseを利用したのかを明確に説明してほしい • Appendixに追加しても良いかも • 転移学習をどのようにやっているのか．その内訳が質問されそう． • カメラを利用する場合のプライバシーの観点での評価はしなくて良いのか？ 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

更新内容 2 30 • 表の+-の意味を脚注に記載 • 夜間の雨天時は可視光に勝てていることは仮説通りであることを述べるべき • 実験結果を入れて再考察する • 24℃以下と未満が混在 • 水滴が付着しているのかも補助スライドに記載する • P3で発表の流れを言う必要があるのか？ • 予備実験をしますっていうふうに言えばいい • 14本ずつの動画にした理由を聞かれる気がする • P24にピリオドがついてる • 学習データではなくて訓練データと検証データ • なぜ事前学習済みモデルを利用しようと考えたのか？ • • 訓練データの内訳は？ • • 補助スライドを作成したほうが良い 雨の日とかも入ってるのか？ P2‒3で誤差と精度が混在している 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

更新内容 1 • 遠赤外線で有利な温度帯と不利な温度帯の結果を出すべき • • 31 24℃‒30℃とそれ以外で結果を出してみて考察したほうが良い P24まとめで本来の目標を達成したかを書いてない • できなくてもこういう場合なら行けましたってことを書かないといけない • P20ででてくる符号の話を入れること • P18の絵だと遠赤外線映像だけでよく見えてしまう • P15,16,22でtherって書いてるけど凡例は不要 • データセットが無いのが課題→課題と言わずに対処するべき • こういった分野では予めデータが公開されてるけど，今回はなかったということを主張 • 口頭でデータセットが無かったので…って言う • データセットが何を指すのかわからない • COCOのデータセットの中に遠赤外線映像が入ってるのか確認すべき • バス停は神戸市三ノ宮って書いたほうが良い 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

歩行者利便増進道路の概要 32 • これまでの課題 • 道路法令上「賑わいを目的とした空間」 の位置づけがなく関係機関と調整が困難 • 制度策定での変更点 • 道路占用許可が柔軟に認められる • 制度策定による展望 歩⾏者利便増進道路（ほこみち） 精度の詳細説明[2]より引⽤ • カフェのテラス席の設置やベンチなどの 専用物件の設置を簡易化 [2]: 国⼟交通省，「歩⾏者利便増進道路（ほこみち）制度の詳細説明」，2020年11⽉25⽇ (https://www.mlit.go.jp/road/hokomichi/pdf/detail.pdf) 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

映像の伝送方法 Cameras 33 SSH • Raspberry Piは 4G LTE回線網に常時接続 LTE Raspberry Pi M2M router 学内サーバ • SSHプロトコル越しで 学内サーバに一定間隔で送信 撮影映像を送信する流れ 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

IoU (Intersection over Union) score 34 正解領域と予測領域の重なりを定量的に評価する指標 𝟎 ≤ 𝐈𝐨𝐔 ≤ 𝟏 正解領域 10 01 0 1 IoU = 0.68 • 正解領域と予測領域の面積の双方が 重なった面積の割合で計算 計算例 𝐈𝐨𝐔 = 10 𝐎𝐯𝐞𝐫𝐥𝐚𝐩𝐩𝐢𝐧𝐠 𝐚𝐫𝐞𝐚𝐬 𝐓𝐨𝐭𝐚𝐥 𝐚𝐫𝐞𝐚𝐬 = 予測領域 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案 𝟖𝟏 𝟏𝟏𝟗 = 𝟎. 𝟔𝟖

歩行者数推定手法の比較 35 歩⾏者計測⼿法の⽐較: ⾼評価 ○>△>✕ 低評価 無線タグ Wi-Fi & BLE レーザスキャン 3D LiDAR 歩行者全員にRFIDタグ を持たせる． RFIDリーダに近づいた 時にIDを読み取ること で，歩行者数を推定す る． 歩行者が所持する デバイスが発する Bluetoothのビーコン やWi-Fiのプローブ要求 を取得することで歩行 者数を推定する． 地面から20cmほどの 高さにレーザスキャナ を設置し，レーザの反 射時間を測定すること で歩行者数を推定する． 精度 ○ △ △ ○ ○ 移動⽅向 ○ ✕ ○ ○ ○ 設置コスト ✕ ○ ○ ○ ○ 計算コスト ○ ○ ○ ✕ ○ 計測対象の変更 ○ ✕ ✕ ○ ○ プライバシー ○ △ ○ ○ ✕ 3次元点群データとし て空間や歩行者をキャ プチャすることで歩行 者数を推定する． 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案 カメラ映像 映像から歩行者の検出 及び追跡を行うことに よって歩行者数を推定 する．

撮影に関するプライバシーポリシー 学術研究用カメラ 撮影中 Camera for academic research in operation 研究題目：「遠赤外線カメラを活用した環境変化耐性のある 交通・人流計測システムの開発」 36 • デジタルサイネージには実験に関 するステッカーを貼付 研究概要 実施主体：奈良先端科学技術大学院大学 情報基盤システム学研究室 本研究への問い合わせ窓口 連絡先： inet-info@is.naist.jp ☎ 0743-72-5151 • 撮影はオプトアウト方式で実行 • オプトアウト方式: 研究の実施についての 情報を公開し，拒否の機会を保証する方式 プライバシーポリシー： https://inet-lab.naist.jp/announce/ デジタルサイネージに貼付したステッカー https://inet-lab.naist.jp/announce/ 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

• https://inet-lab.naist.jp/announce/

データ送信 Cameras 37 SSH • Raspberry Piに接続された ルータから学内のサーバに送信 LTE • ルータ: IO-DATA社製 UD-LT1 Raspberry Pi M2M router 学内サーバ • 4G LTE通信網に常時接続 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

デジタルサイネージ設置の背景 撮影⽤窓 • カメラやコンピュータの設置条件 • 安定した電力供給 1950mm • 点在した箇所への配置 • カメラやコンピュータの保護 カメラを設置した デジタルサイネージの様⼦ 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案 38

近赤外線と遠赤外線 • 近赤外線 • 波長: 0.7‒2.5 [μm] • 物体が太陽光等に含まれる近赤外線を反射し，映像化可能 • 物質によって近赤外線の吸収度が異なる • 照明の無い環境では近赤外線を放射する必要 • 遠赤外線 • 8‒14 [μm] • 物体が発する遠赤外線から映像化可能 • 物体の温度によって遠赤外線が発される 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案 39

撮影用窓に利用するシートの選定 40 • 可視光と遠赤外線を透過するシートが必要 • 旭化成エンジニアリング社製遠赤外線透過透明シートGATを利用 撮影⽤窓に利⽤するシートの⽐較: : ⾼評価 ◎>○>△>✕ 低評価 アクリル 石英ガラス ポリエチレン GAT 可視光透過率 ◎ ◎ △­✕ ○ 赤外線透過率 ✕ △(遠赤外線は✕) ○ ○ コスト ◎ ✕ ◎ ○ 比重 △ ✕ ◎ ◎ 加工の容易さ ○ ✕ ◎ ○ GATが透過する波⻑帯と透過率 （旭化成アドバンス株式会社Webページより引⽤） https://www.asahi-kasei.co.jp/advance/jp/gat/index.html 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

• https://www.asahi-kasei.co.jp/advance/jp/gat/index.html

三ノ宮バス停の周辺環境 41 • 撮影場所は三ノ宮駅近辺 • 三ノ宮駅は兵庫県内の駅の中で 乗降客数が最多（10万人/日） 撮影場所 三ノ宮駅 © OpenStreetMap, https://www.openstreetmap.org/copyright 三ノ宮バス停の周辺地図 • 撮影場所の周囲には飲食店や コンビニが点在 • 1日を通して多くの歩行者が撮影場所に 入り込むことを期待 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

撮影範囲 42 • 歩道の道幅: 約5m • デジタルサイネージ近辺には街 灯や木が存在 • 撮影画角に入らないように調整 • 夜間は街灯が点灯し，歩行者は安全に 通行可能 撮影環境と撮影可能エリアの様⼦ 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

天気情報の取得 43 • 天気情報は，該当する地点と期間の気象庁のデータを利用 • 晴れと雨の分類には下記の対応表を利用 • 下記以外の項番の天気は未使用 気象庁のデータと検証⽤データセットで⽤いる”Weather”の対応表 項番 天気 Weather 2 晴 sunny 4 曇 sunny 10 しゅう雨または止み間のある雨 rainy 15 着氷性の雨 rainy https://www.data.jma.go.jp/obd/stats/etrn/index.php 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

• https://www.data.jma.go.jp/obd/stats/etrn/index.php

映像の解像度調整 44 724 800 56 640 14 縮⼩ 600 トリミング 543 514 514 15 • 可視光映像(600 800)と遠赤外線映像(514 640)では解像度と 画角が異なるため，遠赤外線映像と同じになるように調整 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案 28

映像の解像度をあわせた融合映像の作成 640 640 45 Fused movie トリミング 514 514 • 可視光映像も514 640に調整し，融合映像を作成 • また，この解像度の映像を利用して歩行者数推定を実施 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

訓練データの作成 • 3月の映像を利用してアノテーションを実施 • 歩行者・自転車や車椅子に乗った人を対象 • 抱えられた幼児はアノテーション外とする アノテーションツール: https://fastlabel.ai/ 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案 46

• https://fastlabel.ai/

転移学習に必要な画像数 47 0.9 • Jinda Huらは赤外線画像の転 移学習を実施[3] conf avg 0.85 • 歩行者を検出するために5000枚以上のト レーニングデータを利用 0.8 0.75 0.7 rgb ther fused Daytime Night Time • 遠赤外線映像利用時は75%以上 の信頼度を獲得 ”person”の信頼度の箱ひげ図 [3]: Jinda Hu, Yanshun Zhao, and Xindong Zhang. Application of transfer learning in infrared pedestrian detection. In 2020 IEEE 5th International Conference on Image, Vision and Computing (ICIVC), pp. 1–4, 2020. 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

STEP 2 物体追跡: BYTE 48 • BYTE[6] nフレーム • カルマンフィルタを用いた物体の 予測位置と実際の検出結果を比較して追跡 • オクルージョンに対応するために，高信頼 度の物体と低信頼度の物体を分けて追跡 パラメータ 値 追跡カテゴリ “person” 追跡する信頼度の最小値 0.25 IoUのしきい値 (予測結果と検出結果の重なり具合) 信頼度のしきい値 0.8 n-1フレーム n-2フレーム 1 or 2？ 1 カテゴリ: person 信頼度: 0.89 1 カテゴリ: person 信頼度: 0.92 カテゴリ: person 信頼度: 0.88 予測結果 検出結果 0.7 [6]: Y. Zhang, P. Sun, Y. Jiang, D. Yu, F. Weng, Z. Yuan, P. Luo, W. Liu, and X. Wang, “Bytetrack: Multi-object tracking by associating every detection box,” in Computer Vision – ECCV 2022. Cham: Springer Nature Switzerland, Oct. 2022, pp. 1–21. 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

事前学習済みモデルを利用する理由 49 数万枚の画像を 使って1から学習 遠赤外線カメラ 数万枚の画像を使って1から学習 可視光カメラ Raspberry Pi デジタルサイネージ 遠赤外線カメラ 可視光カメラ • 事前学習済みモデルを利用しない場合は 数万枚の画像が必要 • 将来的には複数のバス停で歩行者数を推定 • バス停ごとに数万枚の画像データを収集し，訓練するには計算コスト が大きくなる Raspberry Pi • 事前学習済みモデルの利用により，少ない 訓練データでモデルを作成可能 デジタルサイネージ 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

物体検出器の出力 50 YOLOの出⼒例 Frame Category Confidence x y w h 1 1 0.87 60 240 50 200 1 1 0.75 150 280 30 180 2 1 0.85 65 230 40 190 2 1 0.71 160 300 28 170 3 1 0.88 68 220 37 185 ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ • 映像のフレーム • カテゴリ番号 • MS COCOのデータセットで利用 されている番号が利用 • Bounding box値 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

物体追跡アルゴリズムの出力 Frame Category Confidence x y w h ID 1 1 0.87 60 240 50 200 1 1 1 0.75 150 280 30 180 2 2 1 0.85 65 230 40 190 1 2 1 0.71 160 300 28 170 2 3 1 0.88 68 220 37 185 1 51 ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ • 物体検出の結果にIDの結果が 追加 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

Microsoft COCO Dataset 52 MS COCO のデータセットの カテゴリ番号とカテゴリの対応付け • COCO(Common Objects in Context) データセット*1 • 20万枚以上のラベル付き可視光画像群 • 80のカテゴリを含有 https://cocodataset.org/#home 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

• https://cocodataset.org/

Bounding box 53 Bounding boxが⽰す値 (始点座標は左上) (0,0) w • 物体の位置を示す4つの値 • x: 対象物体を囲むboxの中心のx座標 • y: 対象物体を囲むboxの中心のy座標 (x,y) h • w: 対象物体を囲むboxの横幅 (画像の横幅を1としたときの割合) • h: 対象物体を囲むboxの中心座標 (画像の縦幅を1としたときの割合) bounding box 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

VICS(Vehicle Information and Communication System) 54 • 渋滞や交通規制などの道路交通情報をカーナビに伝達 • FM多重アンテナやビーコンアンテナを使って受信 FM多重放送 [NHK等の各地のFM放送局] 電波ビーコン [⾼速道路] 光ビーコン [主要な⼀般道路] https://www.vics.or.jp/sp/know/about/index.html 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

• https://www.vics.or.jp/sp/know/about/index.html

RGB画像で認識できないと想定される場面 1 推定結果 2 正解結果 1 55 服の色合いが近いので同一人物だと誤認識する可能性 2 2 夜間+雨による傘の影響で照明条件が悪化 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

正解人数と推定人数の結果 56 • RGBの動画とFIRの動画を用いて移動体総数を推定 • 各1時間の通行人数を推定（自転車や車椅子利用者を含む） 各パターンにおける正解⼈数と推定⼈数 昼間 夜間 晴 雨 晴 雨 正解人数 1108 1399 884 629 可視光映像 1162 1443 822 567 遠赤外線映像 1027 1172 758 554 融合映像 1146 1470 837 574 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

Optical Flowを用いた移動方向の推定 57 • 物体やカメラの移動によって生じる隣接フレーム間の物体の動きの 見え方のパターン． • 各ベクトルが1フレーム目から2フレーム目への変位ベクトルを表す2次元ベクトル場で表現 ⾃動⾞の移動に適⽤した場合 移動体の移動⽅向推定を期待 http://labs.eecs.tottori-u.ac.jp/sd/Member/oyamada/OpenCV/html/py̲tutorials/py̲video/py̲lucas̲kanade/py̲lucas̲kanade.html 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

• http://labs.eecs.tottori-u.ac.jp/sd/Member/oyamada/OpenCV/html/py_tutorials/py_video/py_lucas_kanade/py_lucas_kanade.html

時間と天気ごとの誤差率計算 58 • すべての映像の正解歩行者数と推定歩行者数を比較 4 ∑ 100 ∑4 Predict − 𝑖 3 3 Correct𝑖 e= 𝑁 ∑4 3 Correct𝑖 昼間 可視光映像 (%) 遠赤外線映像 (%) 融合映像 (%) 夜間 晴天時 雨天時 晴天時 雨天時 4.9 (＋) 3.1 (＋) 7.0 (­) 7.6 (­) 7.3 (­) 16.2 (­) 14.3 (­) 14.0 (­) 3.4 (＋) 5.1 (＋) 6.7 (­) 6.6 (­) 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

Byte の概要 59 • オクルージョンに対応したトラッキング手法 • 従来は検出ボックスのスコアが小さくなることでトラッキング性能が悪化 • Byteは低いスコアのボックスに着目 • 検出ボックスを高スコアと低スコアに分離し，低スコアの場合ボックス情報を次のフレーム に伝搬 Not detect! 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

Metric: True positive 検出結果が正解データを追跡 できている状態 65 Output of the model Correct data 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

Metric: False positive 正解データは無いのに検出結果が 追跡している状態 66 Output of the model Correct data 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

Metric: Misses (False Negative) 正解データがあるのに検出結果が 追跡していない状態 67 Output of the model Correct data 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

Metric: ID Switch (Fragmentation) 68 物体が交差した場合などにIDが スイッチした状態 Output of the model Correct data 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

Metric: MOTA (Multi-Object Tracking Accuracy) 69 • 1に近いほど高いスコアとなる． • 正解データのバウンディングボックスと予測モデルのバウンディン グボックスが近いほど高スコアとなる． ∑5(𝐹𝑃𝑡 + 𝑀𝑖𝑠𝑠𝑡 + 𝐼𝐷𝑆𝑊𝑡) 𝑀𝑂𝑇𝐴 = 1 − ∑5 𝑔𝑡 t: t-th frame gt: Number of correct data in the t-th frame 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

Metric: IDF1 • 評価指標“MOTA”の場合は，トラッ キングした長さや時間を考慮しない 70 Pattern1 • 評価指標”IDF1“の場合は，トラッキ ングした長さや時間を考慮すること ができる． Same score at MOTA Pattern2 Output of the model Correct data 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

時間ごとの自転車通行について 夜間はシャッタスピードが低下し， 自転車に乗った人を見逃している可能性 昼間の場合は夜間の用にシャッター スピードを低下させる必要がなく， 自転車に乗った人を追跡可能 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案 71

フレームレートとシャッタースピード シャッタースピード フレームレート(4fps) 一般的には最適なシャッタースピードは ”1/フレームレート〜1/2フレームレート”とされている 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案 72

シャッタースピード 73 シャッタースピードが速い場合 シャッタースピードが遅い場合 被写体が⽌まって⾒える 明るい画像になる 暗い画像になる 被写体がブレて⾒える 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

遠赤外線映像の歩行者数推定精度 74 検出には成功 追跡に失敗する例 フレームアウトする人と フレームインする人が同じIDになる 遠⾚外線映像 927フレーム⽬ 遠⾚外線映像 935フレーム⽬ 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

水滴の影響について 75 可視光映像を用いた場合は， 撮影窓に付着した雨粒によって光が乱反射し， 歩行者がブレて撮影 遠赤外線映像を用いた場合は，撮影窓に付着し た雨粒の影響を受けずに，明瞭な画像を撮影 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

可視光映像の誤差率と気温 76 error rate [%] 20 可視光映像を用いた歩行者数推定は 気温の影響を受けないと推量 0 −20 10 15 20 25 30 temperature [℃] 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

すべての映像で最高性能を出した映像の数 昼間 夜間 合計 晴天時 雨天時 晴天時 雨天時 可視光映像 (本) 9 6 8 7 30 遠赤外線映像 (本) 3 4 1 4 12 融合映像 (本) 2 4 5 3 14 14 14 14 14 56 合計 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案 77

5つに分割した気温ごとの誤差率(絶対値) rgb ther fused 50 error rate 40 30 20 10 0 11–15℃ 16–20℃ 21–25℃ 26–30℃ 31–35℃ Time 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案 78

気温30℃超過時の可視光映像と遠赤外線映像 可視光映像の場合，30℃を超過する気温 で日陰で待つ人に6つのIDを付与 30℃超過時の可視光映像ID重複場⾯ 2868 – 3586フレーム 79 遠赤外線映像の場合，30℃を超過する気温 で日陰で待つ人に2つのIDを付与 30℃超過時の可視光映像ID重複場⾯ 2868 – 3586フレーム 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案

気温ごとの利用映像数について 80 • 気温語の利用映像数を調整するために，本実験で利用した映像の 削除・追加を実施 • 削除の際には各パターンにおいて誤差率が中央値のものを選択 当初は各パターンにおいて14本の映像を利⽤ 昼間 全ての映像の数を同⼀にするために映像を追加 夜間 昼間 晴天時 雨天時 晴天時 雨天時 24℃未満 7 7 7 12 24℃‒30℃ 5 7 7 30℃超 2 0 0 夜間 晴天時 雨天時 晴天時 雨天時 24℃未満 7 7 7 7 2 24℃‒30℃ 5 5 5 5 0 30℃超 2 0 0 0 可視光映像と遠⾚外線映像の融合による気象変化の影響を最⼩化した歩⾏者数推定⼿法の提案