画像の類似度を用いたダンス動画モーション訂正手法（WISS2019）
1.8K Views
September 30, 19
スライド概要
近年，SNS や動画共有サイトには多くのダンス動画の投稿が行われており，ダンスというコンテンツへの注目度は高い．こうしたダンス動画をダンスの内容に即して探索・推薦するには，ダンス動画を時系列のモーションデータとして扱う必要があるが，ダンス動画の量は膨大でありそのモーションを人手ですべて付与していくのは困難である．ここで動画からモーションを自動抽出する深層学習技術を利用することが考えられるが，自動抽出結果には多くのエラーが含まれるため，手作業でのモーションの訂正が必要である．そこで我々は，ダンス動画のフレーム間の画像の類似度が本来抽出されるべきポーズの類似度と高い相関を持つことに着目し，それを活用することで，モーション訂正作業を支援する手法を提案する．本稿ではproof-of-concept であるウェブシステムの実装と，そのシステムに実装されたモーション訂正支援インタラクションについて述べるとともに，その特性について考察を行う．
明治大学 総合数理学部 先端メディアサイエンス学科 中村聡史研究室
関連スライド
各ページのテキスト
画像の類似度を用いた ダンス動画モーション訂正手法 又吉 康綱，小山 裕己，深山 覚，後藤 真孝，中村 聡史 明治大学大学院 産業技術総合研究所 WISS 2019 2019.09.25 @長野
背景：誰でもダンサーになれる時代 • 動画共有サイトやSNSにダンス動画の投稿が多い • U.S.A. • バブリーダンス • 恋ダンス • ニコニコ動画上の「踊ってみた」タグ:18万件以上 • ダンス動画は一大コンテンツ ダンス動画が大量にある
背景：モーションデータの重要性 ダンスのモーションデータを利活用した既存研究 • 動作に即した検索やダンスの感情推定を行うことが可能 [Tsuchidaら 2018] [Aristidouら 2015] ダンス研究に必要なモーションデータの不足 ダンス動画は大量にあるが,モーションデータは少ない
背景：動画からモーションを推定 解決策：動画からモーションを自動推定する既存手法 しかし，推定結果には，時間的に不連続な動きや 足が入れ替わるようなエラーが生じる https://www.nicovideo.jp/watch/sm29383900
背景：推定モーションのエラー訂正 • 全 身 の 各 ボ ー ン の キ ーフ レ ー ム に エラ ー が あ る 箇所 を個別に訂正する • 膨大な手間がかかる 深層学習で自動推定したモーションを 効率的に訂正する仕組みが必要
本研究の目的 動画から深層学習を用いて自動推定したモーションに 含まれているエラーを検知し，訂正の支援を行う
関連研究 モ ー シ ョ ン キ ャ プ チ ャー の モ ー シ ョン に ノ イ ズ を 乗 せ て 機 械 学 習 す る こ と で エラ ー を 除 去 [ H o l d e n 2 0 1 8 ] 本研究では • 自動推定モーションのエラー訂正を対象 • 付随するダンス動画を活用する アプローチが異なる
本研究で対象とする動画の種類 • カメラと背景固定 • カット割りがない • 1人で全身が写っている https://www.nicovideo.jp/watch/sm29383900 いわゆるニコニコ動画 の「踊ってみた」動画
提案手法：キーアイディア 音 楽 に サ ビ な ど の 繰 り返 し が あ る よう に ， ダ ン ス 動 画 に も モ ー ショ ン ( 振 り 付 け ) の 繰 り 返 し があ る 1 分3 2 秒 3分21秒 4分25秒 ダンス動画内で似た画像(フレーム)同士を求めることで， 類似しているダンスモーション(振り付け)の時刻がわかる 推薦：どれかが間違っていても他の正しい時刻から候補表示 コピー：訂正したポーズを他の間違っている時刻にコピー https://www.nicovideo.jp/watch/sm29383900
提案手法：概要 深層学習 による推定 ダンス動画 画像の解析 ダンス動画から求めた 類似度行列 モーション モーション訂正補助 (振り付けが類似している時刻 のモーションを推薦・コピー)
動画のフレーム間の類似度 縦と横に動画のフレーム 自己類似行列を作成する 1.0 0.3 0.6 同座標の色が近いほど類似 とする類似度関数を設定 𝒔𝒊𝒎 𝑰𝒊 , 𝑰𝒋 0.3 1.0 0.4 = 𝟏 𝒉 σ𝒘 𝒙=𝟏 σ𝒚=𝟏 𝑰𝒊 𝒙, 𝒚 − 𝑰𝒋 (𝒙, 𝒚) 𝟏 +𝟏 w=横幅,h=縦幅,I=座標の色 0.6 https://www.nicovideo.jp/watch/sm29383900 0.4 1.0 ＊1.0以外の数値は例 動画の全フレームの 画像間の類似度を求める
動画のフレーム間の類似度行列 類似 5分のダンス動画に対して 計算した動画フレーム間の 類似度行列 軸：フレーム番号 色：濃いほど類似したフレーム 非類似
動画のフレーム間の類似度行列 類似 5分のダンス動画に対して 計算した動画フレーム間の 類似度行列 軸：フレーム番号 拡大 色：濃いほど類似したフレーム 非類似
動画のフレーム間の類似度行列
動画のフレーム間の類似度行列 斜め線を見つけることが可能
動画のフレーム間の類似度行列 斜め線＝ずっと類似したポーズ （類似しているフレーム） を表す 横：2000~4000フレーム 縦：4500~6500フレーム ⇨同じ振り付けで踊っている 例えば 2000フレーム≒4500フレーム
類似度行列の妥当性 2000フレーム目から 4674フレーム目から 類似したモーションを求めることが可能 https://www.nicovideo.jp/watch/sm29383900
システム：前処理 動画の類似度行列から，すべてのフレームに対して 類似度関数simが最も高い上位3フレーム分を事前計算 https://www.nicovideo.jp/watch/sm29383900
システム ライブデモ
システム https://www.nicovideo.jp/watch/sm29383900
システムの有効性の検証 深層学習による推定結果のモーションデータで検証 体全身を使う大きな動作にエラーがある際に 正しいポーズの推薦ができていた https://www.nicovideo.jp/watch/sm29383900
議論 深層学習 による推定 ダンス動画 画像の解析 ダンス動画から求めた 類似度行列 モーション モーション訂正補助 (振り付けが類似している時刻 のモーションを推薦・コピー)
議論 深層学習 による推定 ダンス動画 モーション モーションの解析 [Kovar 2002] 画像の解析 モーション訂正補助 (振り付けが類似している時刻の モーションを推薦・コピー) + ダンス動画から求めた モーションから求めた モーション訂正必要箇所の推薦 類似度行列 類似度行列
議論 類似度行列の比較によるモーション推定エラーの検知 動画の 類似行列 = モーションの 類似行列 エラー検知 動 画 と モ ー シ ョ ン 類 似行 列 の 比 較 する こ と で , モ ー シ ョ ン の 訂 正 が 必要 な 箇 所 を 検知
議論 動画とモーションからの類似度行列の比較 動画からの類似度行列 モーションからの類似度行列 動画とモーション類似度行列の比較手法の考案
今後の展望 モーション訂正の We bインターフェース モーション データ モーション DB ダンス動画URL • ダンス検索 • 振り付け生成 • モーション分析 • 学習データ ダンスのモーションデータの手軽な訂正に支えられた データベースを構築, 利活用
まとめ ダンス動画を画像処理し,モーションが類似している箇所を 求め, モーションデータの訂正を支援する枠組みを提案 今後 • モーションからの類似度行列の活用 • モーション訂正のためのインタラクションの拡大 • 手軽なモーション訂正が可能なWebインタフェースの構築 謝辞 【足太ぺんた】恋愛デコレート 踊ってみた【オリジナル振付】 https://www.nicovideo.jp/watch/sm29383900 を投稿した「足太ぺんた」様の承諾を得て使用した