VRMixer:動画コンテンツと現実世界の融合とその適用可能性の検証

279 Views

October 10, 15

スライド概要

EC2015で発表した内容です

profile-image

明治大学 総合数理学部 先端メディアサイエンス学科 中村聡史研究室

シェア

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

VRMixer: 動画コンテンツと現実世界の融合と その適用可能性の検証 牧良樹(明治大学 B3,JST CREST) 中村聡史(明治大学,JST CREST) 平井辰典(早稲田大学) 湯村翼(北陸先端科学技術大学院大学) 森島繁生(早稲田大学,JST CREST)

2.

本研究の貢献 • 動画と実世界を融合するVRMixerの改良 • • ユーザが既存の動画内に好きな大きさになっ て入り,自由に動き回ることのできるシステ ムの実現 VRMixerの適用可能性の検討 • 小さくなって映像に入り込むもの、スピード を体験するものに有用 • ダンス練習では中程度のうまさの人に有用

3.

関連研究 Dive into the Movie[森島2011] • 顔を撮影することでユーザを映画の中に 登場させることを可能にするシステム • → 出演可能な部分が顔のみ → 専用の機材を用いる必要がある VRMixer[平井2014] • • 現実世界の人物が動画内の人物と共演 することを可能にするシステム → 極端に小さくなり映像内を動き回ることができない → 適用可能性について明らかにされていない

4.

研究目的 • 動画と現実世界を融合するVRMixerを改良し、 動画内で自身の大きさを自在に変更し、動画内を 大胆に動き回ることを可能にする仕組みの実現 • 改良したVRMixerの適用可能性の検証 - 各種コンテンツへの適用可能性 - ダンス練習への適用可能性

5.

提案手法 ジェスチャ認識とVRMixerを組み合わせることで ユーザの動画内の自在な移動を可能にする

6.

適用可能性の検証 • コンテンツ実験 - 改良したVRMixerがどの感覚 を増幅可能なのかを検証 • ダンス実験 - VRMixerがダンス練習でどの ようなユーザに有効であるか の検証

7.

適用可能性の検証 • コンテンツ実験 - 改良したVRMixerがどの感覚 を増幅可能なのかを検証 • ダンス実験 - VRMixerがダンス練習でどの ようなユーザに有効であるか の検証

8.

コンテンツ実験 • 実験協力者(11名) • 提案手法の体験とディスプレイを視聴したときの体験 ではどのような違いがあったのかのフィードバックを もらった ディスプレイ 提案手法

9.

実験考察 • ユーザの大きさを小さくするときには有効 • スケール感を大きくする際には工夫が必要 → 体が大きいと環境に影響を及ぼせるように感じる ため、動画内に影響を及ぼせないサイズがよい • スピード感の感じ方も変化しより速く感じる →自身の映像とボールを見比べることができる

10.

適用可能性の検証 • コンテンツ実験 - 改良したVRMixerがどの感覚 を増幅可能なのかを検証 • ダンス実験 - VRMixerがダンス練習でどの ようなユーザに有効であるか の検証

11.

実験の流れ 練習 収録 経験者:2名 未経験:12名 30分練習 鏡+ディスプレイ VRMixer使用時 映像を見ず 音楽だけで 踊り収録 評価 評価者4人 [評価内容] リズム,上半身・ 下半身の振り付 けetc.. 動画例

12.

ダンスの様子 経験者 高得点者 中得点者 低得点者

13.

実験結果 経験者 高得点者 中得点者 低得点者 リズム -1.50 0.75 1.50 -0.50 フリ(上半身) -1.75 0.00 0.75 -1.75 フリ(下半身) -2.50 -1.25 1.50 -2.25 アクセント -2.75 0.50 1.00 -1.00 滑らかさ -0.75 2.50 2.50 -1.75 左右 -1.00 -0.50 0.25 -1.75 → スコアは(VRMixer使用時-既存手法)で表示 (赤色で塗られているところVRMixer使用時の方がよく,青色で塗ら れているところは既存手法の方がよい)

14.

実験結果 経験者 高得点者 中得点者 低得点者 リズム -1.50 0.75 1.50 -0.50 フリ(上半身) -1.75 0.00 0.75 -1.75 フリ(下半身) -2.50 -1.25 1.50 -2.25 アクセント -2.75 0.50 1.00 -1.00 滑らかさ -0.75 2.50 2.50 -1.75 左右 -1.00 -0.50 0.25 -1.75 →経験者のスコアは低い

15.

実験結果 経験者 高得点者 中得点者 低得点者 リズム -1.50 0.75 1.50 -0.50 フリ(上半身) -1.75 0.00 0.75 -1.75 フリ(下半身) -2.50 -1.25 1.50 -2.25 アクセント -2.75 0.50 1.00 -1.00 滑らかさ -0.75 2.50 2.50 -1.75 左右 -1.00 -0.50 0.25 -1.75 →未経験者の中得点者のスコアは高い

16.

実験考察 • 未経験者の中得点者の人には有用 • 経験者や高得点者が悪かった理由 • ユーザと映るユーザとの遅延 • 経験者は鏡+ディスプレイに慣れていた事が理由 • 改良し、時間をかけることでVRMixerの方が 覚えやすくなる?

17.

まとめ • VRMixerを改良し,ジェスチャーによるユーザの 動画内の移動を可能にした • システムがどのようなコンテンツで有用なのかを 明らかにした • ダンス練習でのVRMixerの有用性を確認した [今後の課題] • • 人物動画に限らず様々な動画においても適用する ことを可能にする ダンス練習では長期的な練習を行っていく必要が ある