--- title: [DL輪読会]DeepSignals: Predicting Intent of Drivers Through Visual Signals tags: #deep learning author: [Deep Learning JP](https://www.docswell.com/user/DeepLearning2023) site: [Docswell](https://www.docswell.com/) thumbnail: https://bcdn.docswell.com/page/YJ65K3NP7V.jpg?width=480 description: 2020/06/05 Deep Learning JP: http://deeplearning.jp/seminar-2/ published: June 05, 20 canonical: https://www.docswell.com/s/DeepLearning2023/Z8GLY2-dldeepsignals-predicting-intent-of-drivers-through-visual-signals --- # Page. 1 ![Page Image](https://bcdn.docswell.com/page/YJ65K3NP7V.jpg) DEEP LEARNING JP [DL Papers] DeepSignals: Predicting Intent of Drivers Through 1 Visual Signals Takumi Ohkuma, Nakayama Lab M2 http://deeplearning.jp/ 2020/6/5 # Page. 2 ![Page Image](https://bcdn.docswell.com/page/GJ5YPL5PJ4.jpg) 2 自己紹介  大熊拓海（オオクマ  東京大学 情報理工学系研究科 創造情報学専攻 中山研究室 M2  専門はfew-shot learning関連   タクミ） 現在のテーマはOpenset image recognitionとFew-shot learningの融合に関 する研究 共同研究で自動運転系の研究にも携わっている 2020/6/5 # Page. 3 ![Page Image](https://bcdn.docswell.com/page/9E2G6LNZER.jpg) 書誌情報  題名：DeepSignals: Predicting Intent of Drivers Through Visual Signals  出典：International Conference on Robotics and Automation (ICRA) 2019  著者：Davi Frossard, Eric Kee, Raquel Urtasun (Uberの研究チーム)  URL：https://arxiv.org/pdf/1905.01333.pdf 3 2020/6/5 # Page. 4 ![Page Image](https://bcdn.docswell.com/page/D7YV9QPN7M.jpg) 概要 4  自動運転に必要な自動車の行動予測に関する研究  サブタスクとして、自動車のウィンカーや視点の推定も行う  Convolutional LSTMを用いることで精度の向上に貢献  Uberの自動運転プラットフォームを用いて大規模なデータセットを用意し、 実験を行う 2020/6/5 # Page. 5 ![Page Image](https://bcdn.docswell.com/page/VENMLK5VJ8.jpg) メインタスク  自動車が写った連続画像を入力として受け取 り、その自動車が次にどのような行動をする かを予測する。  予測する行動の種類はLeft Turn (左折), Right Turn (右折), Flashers (道路脇で停止), Off (そ のまま), Unknown (不明) の5クラスである。 5 2020/6/5 # Page. 6 ![Page Image](https://bcdn.docswell.com/page/Y79N4VYV73.jpg) サブタスク  ウィンカー検出 (左右それぞれ On, Off ,Unknown)   6 自動車は右折、左折、一時停止するときにはウィンカーを出す決まりになって いるので、これを使わない手はない。 対象となる自動車に対する視点 (前, 後, 左, 右)  どの視点から対象となる自動車を見ているのか判別できないと、認識が難しい （同じ右折でも向きが変わってしまう） これらのタスクをサブタスクとして同時に学習させることで、メイン タスクである行動予測の精度を高めることが目的 2020/6/5 # Page. 7 ![Page Image](https://bcdn.docswell.com/page/G78KQP64JD.jpg) モデルの概要  7 基本的には Attention (a), CNN (b), Convolutional LSTM (c), FC (d)の流れである。 2020/6/5 # Page. 8 ![Page Image](https://bcdn.docswell.com/page/L7LZX19VER.jpg) 8 Attention, CNN Attention  何処に注目するかを示すヒートマップ  4層のCNNを用いており入力サイズは224×224×3、 出力サイズは224×224×1  元の画像とAttentionの出力をピクセルごとにかけ 合わせ、次のCNN (VGG16) の入力とする Input Attention CNN • Imagenet pretrained VGG16を用い、training中にfine tuningする。 • 出力サイズは7×7×512 2020/6/5 # Page. 9 ![Page Image](https://bcdn.docswell.com/page/4EMVLWZNEW.jpg) 9 Convolutional LSTM  通常のLSTMが内部でFCに基づく計算を行うのに 対し、ConvLSTMは畳み込みに基づく計算が行わ れる。  𝑋𝑡 が時刻tにおけるVGG16 (もしくは下位のConvLSTM) より与えられる入 力  𝐻𝑡 が時刻tにおける出力 (次のConvLSTM層もしくはFC層に渡す値)  正則化のため (3) の出力にDropout  本研究では2層のConvLSTM層を用いる  隠れ層の次元は7×7×256, 出力サイズは 7×7×1024 2020/6/5 # Page. 10 ![Page Image](https://bcdn.docswell.com/page/PER2KY6479.jpg) データセット (1) 10  ウィンカー検出用の公開された大規模データが無いので、研究チームが自作した。  Uberの自動運転プラットフォームから10Hzで連続画像を抜き出した  10,000以上の連続画像を作成し、フレーム総数は1,257,591  データ画像は予め自動車領域が抜き出されている (Detectionの必要はない)。  各フレームに行動予測, 左右ウィンカーのON, OFF, 自動車の向きのアノテーション  ウィンカーに関してはフレームごとの点灯、消灯ではなく、連続時間で考えたときのON, OFFのラベルである。  点滅しているウィンカーに対しては、消灯しているフレームに対するラベルもONである。 2020/6/5 # Page. 11 ![Page Image](https://bcdn.docswell.com/page/P7XDLGMZJX.jpg) データセット (2)  occlusionや悪天候等、難しい状況の データも含まれている。 11 • 各クラスラベルのデータ数は以下の様に ばらつきがある。 2020/6/5 # Page. 12 ![Page Image](https://bcdn.docswell.com/page/37KXL4GVJD.jpg) 12 学習  誤差関数は4つのheadのcross-entropy loss関数の重み付き和である  𝑦が予測ラベル, ො 𝑥が入力で, intent, left, right viewがそれぞれ 行動予測, 左ウィンカー, 右ウィン カー, 視点である。 ℒ 𝑦, ො 𝑥 θ = 𝑙𝑖𝑛𝑡𝑒𝑛𝑡 𝑦, ො 𝑥 θ + 𝑙𝑙𝑒𝑓𝑡 𝑦, ො 𝑥 θ + 𝑙𝑟𝑖𝑔ℎ𝑡 𝑦, ො 𝑥 θ + 𝑙𝑣𝑖𝑒𝑤 𝑦, ො 𝑥θ 𝑙 𝑦, ො 𝑥 θ = γ ෍ 𝑦ො𝑐 log(σ𝑐 (𝑥|θ)) 𝑐  全て微分可能であり、End-to-Endの学習を行う。  Adam optimizerを用い（パラメータの詳細等は論文を参照）、50epochの学習を行った。  25epochほどで大体収束するらしい 2020/6/5 # Page. 13 ![Page Image](https://bcdn.docswell.com/page/LJ353L5Q75.jpg) 実験結果 (1)  13 行動予測に関して以下の様な混合行列が得られた  各行が正解ラベル、各列が予測ラベルに対応している • 偽陰性率（行動を予測できないでOFFと判断する）が高めになっている。 • 逆に偽陽性率はそれほど高くない。 • Flashersの精度が低い (データ数が少ないから？) 2020/6/5 # Page. 14 ![Page Image](https://bcdn.docswell.com/page/8JDD4NDWJG.jpg) 実験結果 (2) 14 モデルアーキテクチャの有効性に関する実験 1. FC-LSTM: CNNを用いずに元の画像を平滑化してLSTMに入力するモデル 2. ConvLSTM: CNNを用いずに元の画像をそのままConvLSTMに入力するもでる 3. CNN-LSTM: CNNの出力をConvLSTMではなく通常のLSTMに入力したものを比較実験に用いる。 • 1はCNNを用いておらず、画像の良い特徴量が得られていない。 • 2はConvLSTMの入力サイズが大きすぎてチャネル数や層数が非常に少なくなってしまい (3層, 8, 8, 3チャネル) 精度が出ない。 • 3とoursの差は、LSTMよりConvLSTMがこのタスクにおいて優れていることを示している。 2020/6/5 # Page. 15 ![Page Image](https://bcdn.docswell.com/page/VEPXM5XXJ8.jpg) 実験結果(3) 15 Ablation study  1はAttentionを抜いたとき、2は AttentionにU-Netを用いた時に対応し、 それぞれ精度が低下している。  3, 4はウィンカー及び視点のサブタスク に関する実験で、これらを省くと精度が 劣化するので、サブタスクは行動推定に 対して有効に働いているとわかる。  5, 6は各種normalizationを導入した実験 であり、本タスクにおいては有効ではな いようである。 2020/6/5 # Page. 16 ![Page Image](https://bcdn.docswell.com/page/27VL9PL3EQ.jpg) 実験結果(4) 16 Detectorを用いた場合の精度  本データセットはあらかじめ自動車の領域に切り取られた動画であるが、実際の自動運転 ではDetection部分から検出器を用いて自動で行う必要がある。  Detector部分の不正確性によって、行動推定の精度が下がらないかどうかを確かめる実験 の結果が以下である。  DetectorはLIDARを用いたものと書いてあるが、詳細は不明 • Detectorを用いた場合 でも(Detections) 多少の精度劣化は見られるが、十分機能する。 2020/6/5 # Page. 17 ![Page Image](https://bcdn.docswell.com/page/5JGXZPXY7L.jpg) まとめ 17  自動運転に必要な自動車の行動予測に関する研究  サブタスクとして、自動車のウィンカーや視点の推定も行う  Convolutional LSTMを用いることで精度の向上に貢献  Uberの自動運転プラットフォームを用いて大規模なデータセットを用意 し、実験を行った。 2020/6/5 # Page. 18 ![Page Image](https://bcdn.docswell.com/page/47Q8L286EP.jpg) 感想 18 作成しているデータセットが大規模で素晴らしい（流石Uber）。 (120万フレーム, 10000Seqences)  データセットを公開してほしい。    純粋に研究に使いたい  データセットを見られないので、例えば精度70%と言われても良くわからない  論文に載せてあるデータセットの図も少しわかりにくいので、実感がつかみにくい せっかくなのでウィンカー検出タスクの精度も公開してほしい。  ウィンカー検出タスクは自動運転パイプラインに組み込むこともできる重要なタスク なので、こちらの精度も出せているとすれば大きな研究成果であると思う。 2020/6/5