視線とエフェクトの連動によるコンテンツ視聴体験拡張

118 Views

April 06, 16

スライド概要

情報処理学会第78回全国大会にて発表を行った際に用いたスライド

profile-image

明治大学 総合数理学部 先端メディアサイエンス学科 中村聡史研究室

シェア

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

視線とエフェクトの連動による コンテンツ視聴体験拡張 田村 柾優紀 ( 明治大学 総合数理学部 B3 ) 中村 聡史 ( 明治大学 総合数理学部 )

2.

デモ動画

3.

背景 • 動画共有サイトにある既存の動画コンテン ツをさらに面白くしたい • 視聴者自身の情報を用いて動画コンテンツ をさらに面白くしたい

4.

関連研究 既存の動画コンテンツを視聴者自身の情報 により面白くする研究 • ノリ乗り [吉田 2011] • 動画共有サイトでの視線 共有の試み [松野 2012]

5.

提案手法 [田村 2015] • 視線の位置に応じたエフェクトの付与 エフェクトをコンテンツに重畳 集中線のエフェクト 動画 視線の位置に応じて変化 赤い×は視線の中心を表している

6.

実装 [田村 2015] • Google Chrome のブラウザ拡張 – 視線取得 :Tobii EyeX – エフェクト重畳:JavaScript

7.

実装 [田村 2015] 星 スポットライト 霧 モザイク

8.

これまでの研究について • 視線とエフェクトを連動させることに よる視聴体験拡張手法の実現を行ってきた. • 主観評価と客観評価の両方の観点から 有用性を検証出来ていない.

9.

目的 エフェクトと視線を連動させることによる 視聴体験拡張手法の評価・検証 • エフェクト無し有りで視聴した時の印象の 変化における仮説の検証 • エフェクトのユーザへの影響についての 調査

10.

実験 主観評価と客観評価から 提案システムの評価・検証 • 主観評価 :アンケート • 客観評価 :視線ログ

11.

実験 主観評価と客観評価から 提案システムの評価・検証 • 主観評価 :アンケート 仮説1:視線と連動した各々のエフェクト は特定の印象を向上する事が可能 • 客観評価 :視線ログ

12.

実験 主観評価と客観評価から 提案システムの評価・検証 • 主観評価 :アンケート • 客観評価 :視線ログ 仮説2:エフェクトを付与して視聴する ことにより視聴スタイルが変化

13.

アンケート内容 • 内容 – プルチックの感情の輪を基に定義した8軸の 指標により印象の評価 – その他:自由記述 • 評価方法 • -2~+2の5段階の リッカート尺度 プルチックの感情の輪

14.

実験(仮説1) 以下の表の様に各々のエフェクトがどの印象を 向上するエフェクトになるか仮説を立てた エフェクト 向上する印象 集中線 感心,楽しさ 懐中電灯風 恐怖,驚き スポットライト風 関心 霧 驚き,恐怖,感心 モザイク 関心

15.

実験 • 対象 – 実験協力者:20歳代の大学生8名 エフェクト 使用コンテンツ 集中線 懐中電灯風 スポットライト 10 パターン 霧 モザイク

16.

実験結果(アンケート結果) 驚き エフェクト 集 懐 ス 霧 モ 恐怖 感心 関心 楽しさ 悲しさ 嫌悪感 苛立ち 無 有 無 有 無 有 無 有 無 有 無 有 無 有 無 有 動画1 -0.75 -0.50 -1.25 -0.50 -0.50 0.25 0.25 1.00 -0.25 1.25 -1.50 -1.00 -1.50 0.50 -0.25 0.25 動画2 0.50 0.25 -1.00 -1.25 0.50 0.75 1.50 1.00 0.50 0.75 -1.75 -2.00 -1.25 -0.50 -1.25 -0.25 動画3 1.25 1.50 0.50 1.50 -0.25 0.25 0.50 1.75 0.50 0.50 -1.25 -1.50 0.25 -0.50 0.50 0.25 動画4 0.00 1.25 0.50 1.25 0.00 1.00 1.25 1.50 -0.50 0.25 -1.75 -1.50 0.75 1.25 1.25 1.00 動画5 -0.75 -0.50 -1.75 -1.50 0.25 0.50 1.25 1.75 0.25 0.75 -2.00 -1.50 -0.50 -1.00 -0.50 0.50 動画6 -0.75 0.00 -1.50 -1.50 0.75 0.50 0.75 1.25 1.00 1.00 -1.50 -2.00 -0.25 -1.50 0.50 -1.25 動画7 1.50 0.00 0.25 0.00 1.50 0.75 1.75 0.50 0.75 -0.25 -1.75 -1.25 -1.75 -0.75 -1.75 -1.00 動画8 1.00 0.25 1.00 0.75 0.00 0.25 0.50 0.00 -0.75 -0.25 -1.75 -2.00 -0.50 -1.00 -1.50 0.25 動画9 0.25 0.50 -1.75 -2.00 0.75 1.25 0.50 1.75 -0.25 1.25 -0.75 0.00 -1.25 -0.25 -0.75 0.75 動画10 -0.25 -0.25 -2.00 -1.75 1.25 1.00 1.50 1.25 0.75 -0.75 -2.00 -0.75 -1.75 0.75 -1.50 0.75 この表は動画毎のアンケート結果をエフェクト有り無しで分類した表

17.

実験結果(アンケート結果) 驚き 恐怖 感心 関心 楽しさ 悲しさ 嫌悪感 苛立ち エフェクト 無 有 無 有 無 有 無 有 無 有 無 有 無 有 無 有 集 平均 -0.13 -0.13 -1.13 -0.88 0.00 0.50 0.88 1.00 0.13 1.00 -1.63 -1.50 -1.38 0.00 -0.75 0.00 懐 平均 0.63 1.38 0.50 1.38 -0.13 0.63 0.88 1.63 0.00 0.38 -1.50 -1.50 0.50 0.38 0.88 0.63 ス 平均 -0.75 -0.25 -1.63 -1.50 0.50 0.50 1.00 1.50 0.63 0.88 -1.75 -1.75 -0.38 -1.25 0.00 -0.38 霧 平均 1.25 0.13 0.63 0.38 0.75 0.50 1.13 0.25 0.00 -0.25 -1.75 -1.63 -1.13 -0.88 -1.63 -0.38 モ 平均 0.00 0.13 -1.88 -1.88 1.00 1.13 1.00 1.50 0.25 0.25 -1.38 -0.38 -1.50 0.25 -1.13 0.75 2つの動画により印象評価の値を平均した表

18.

実験結果(アンケート結果) 驚き 恐怖 感心 関心 楽しさ 悲しさ 嫌悪感 苛立ち エフェクト 無 有 無 有 無 有 無 有 無 有 無 有 無 有 無 有 集 平均 -0.13 -0.13 -1.13 -0.88 0.00 0.50 0.88 1.00 0.13 1.00 -1.63 -1.50 -1.38 0.00 -0.75 0.00 懐 平均 0.63 1.38 0.50 1.38 -0.13 0.63 0.88 1.63 0.00 0.38 -1.50 -1.50 0.50 0.38 0.88 0.63 ス 平均 -0.75 -0.25 -1.63 -1.50 0.50 0.50 1.00 1.50 0.63 0.88 -1.75 -1.75 -0.38 -1.25 0.00 -0.38 霧 平均 1.25 0.13 0.63 0.38 0.75 0.50 1.13 0.25 0.00 -0.25 -1.75 -1.63 -1.13 -0.88 -1.63 -0.38 モ 平均 0.00 0.13 -1.88 -1.88 1.00 1.13 1.00 1.50 0.25 0.25 -1.38 -0.38 -1.50 0.25 -1.13 0.75 2つの動画の結果を平均した時,エフェクト無しより有りの方が 0.5以上高かった箇所を赤,低かった箇所を青で分類

19.

実験結果(集中線) 驚き 印象 エフェクト 集中線 平均 無 有 恐怖 無 有 -0.13 -0.13 -1.13 -0.88 楽しさ 悲しさ 無 有 感心 関心 無 有 無 有 0.00 0.50 0.88 1.00 嫌悪感 無 有 無 0.13 1.00 -1.63 -1.50 -1.38 感心や楽しさの印象が向上 有 苛立ち 無 0.00 -0.75 有 0.00

20.

実験結果(集中線) 驚き 印象 エフェクト 集中線 平均 無 有 恐怖 無 有 -0.13 -0.13 -1.13 -0.88 楽しさ 悲しさ 無 有 感心 関心 無 有 無 有 0.00 0.50 0.88 1.00 嫌悪感 無 有 無 0.13 1.00 -1.63 -1.50 -1.38 有 苛立ち 無 0.00 -0.75 有 0.00 期待した印象の向上,数値が高くないことから許容範囲内

21.

実験結果(懐中電灯風) 驚き 印象 エフェクト 懐中 電灯風 平均 恐怖 感心 無 有 無 有 0.63 1.38 0.50 1.38 -0.13 楽しさ 悲しさ 無 有 無 有 0.00 0.38 -1.50 -1.50 無 関心 有 無 有 0.63 0.88 1.63 嫌悪感 苛立ち 無 有 無 有 0.50 0.38 0.88 0.63 恐怖や驚きの印象が向上

22.

実験結果(スポットライト風) 驚き 印象 エフェクト スポット ライト風 平均 無 恐怖 有 無 有 -0.75 -0.25 -1.63 -1.50 楽しさ 感心 無 有 無 有 0.50 0.50 1.00 1.50 悲しさ 無 有 関心 嫌悪感 無 有 無 0.63 0.88 -1.63 -1.75 -0.38 -1.25 関心の印象が向上 有 苛立ち 無 有 0.00 -0.38

23.

実験結果(モザイク) 驚き 印象 エフェクト モザイク 平均 恐怖 無 有 0.00 0.13 -1.88 -1.88 楽しさ 無 有 感心 無 有 無 有 1.00 1.13 1.00 1.50 悲しさ 無 有 関心 嫌悪感 無 有 無 0.25 0.25 -1.38 -0.38 -1.50 関心の印象が向上 有 苛立ち 無 0.25 -1.13 有 0.75

24.

実験結果(モザイク) 驚き 印象 エフェクト モザイク 平均 恐怖 無 有 0.00 0.13 -1.88 -1.88 楽しさ 無 有 悲しさ 無 有 感心 関心 無 有 無 有 1.00 1.13 1.00 1.50 嫌悪感 無 有 無 0.25 0.25 -1.38 -0.38 -1.50 有 苛立ち 無 0.25 -1.13 有 0.75 マイナスな三つの要素とも増幅しているが, 期待した印象の向上,エフェクトの特性から許容範囲内

25.

実験結果(霧) 驚き 印象 恐怖 感心 関心 エフェクト 無 有 無 有 無 有 無 有 霧 1.25 0.13 0.63 0.38 0.75 0.50 1.13 0.25 平均 楽しさ 無 有 悲しさ 無 有 嫌悪感 無 有 苛立ち 無 有 0.00 -0.25 -1.75 -1.63 -1.13 -0.88 -1.63 -0.38 霧では,向上すると期待した印象は低下

26.

実験(仮説1の結果) 霧以外のエフェクトは仮説で期待した印象が向上 霧のエフェクトは仮説で期待した印象が低下 エフェクト 向上する印象 集中線 感心,楽しさ スポットライト風 関心 懐中電灯風 恐怖,驚き 霧 驚き,恐怖,感心 モザイク 関心

27.

視線ログのヒートマップの結果 動画1 動画3 動画5 動画7 動画9 動画2 動画4 動画6 動画8 動画10 霧 モザイク 集中線 懐中電灯風 スポットライト (上:エフェクト無し / 下:エフェクト有り)

28.

視線ログのヒートマップの結果 動画1 動画3 動画5 動画7 動画9 動画2 動画4 動画6 動画8 動画10 霧 モザイク 集中線 懐中電灯風 スポットライト (上:エフェクト無し / 下:エフェクト有り)

29.

視線ログのヒートマップの結果 動画1 動画3 動画5 動画7 動画9 動画2 動画4 動画6 動画8 動画10 霧 モザイク 集中線 懐中電灯風 スポットライト 集中線と懐中電灯風では 視線が中心に固まる傾向にある

30.

視線ログのヒートマップの結果 動画1 動画3 動画5 動画7 動画9 動画2 動画4 動画6 動画8 動画10 霧 モザイク 集中線 懐中電灯風 スポットライト スポットライト風では, バランスよく視聴するようになる傾向にある

31.

視線ログのヒートマップの結果 動画1 動画3 動画5 動画7 動画9 動画2 動画4 動画6 動画8 動画10 霧 モザイク 集中線 懐中電灯風 スポットライト 霧では,視聴が集中した範囲が増加しており, 視聴した範囲自体についても変化する傾向にある

32.

視線ログのヒートマップの結果 動画1 動画3 動画5 動画7 動画9 動画2 動画4 動画6 動画8 動画10 霧 モザイク 集中線 懐中電灯風 スポットライト モザイクでは,視線が集中した範囲に変化はないが, 視聴した範囲に変化が生じる傾向にある

33.

視線ログのヒートマップの結果 動画1 動画3 動画5 動画7 動画9 動画2 動画4 動画6 動画8 動画10 霧 モザイク 集中線 懐中電灯風 スポットライト モザイクでは,視線が集中した範囲に変化はないが, 視聴した範囲に変化が生じる傾向にある

34.

1ミリ秒当たりの視線移動速度 エフェクト有 エフェクト無 集中線 0.495 0.536 懐中電灯風 0.558 0.648 スポットライト風 0.795 0.939 霧 0.807 0.947 モザイク 0.847 0.898 全てのエフェクトにおいて 視線移動速度が減少

35.

仮説1に対する考察 仮説1:視線と連動した各々のエフェクトは 特定の印象を向上する事が可能 • 霧以外のエフェクトにおいて,仮説で向上する と期待した特定の印象評価が向上した 霧のエフェクトを除いて 仮説1から主観評価は確認された

36.

仮説2に対する考察 仮説2:エフェクトを付与して視聴する ことにより視聴スタイルが変化 • エフェクト付与による視線移動速度の減少, ヒートマップの変化より視聴スタイルの変化 仮説2から客観評価は確認された

37.

仮説2に対する考察 仮説2:エフェクトを付与して視聴する ことにより視聴スタイルが変化 ある程度視聴体験は 拡張されていたと考えられる • エフェクト付与による視線移動速度の減少, ヒートマップの変化より視聴スタイルの変化 仮説2から客観評価は確認された

38.

まとめ • 提案手法による印象評価の変化と, 視線ログを用いた評価・検証の実施 • エフェクト付与により動画の印象評価, 視聴スタイルが変化 • 視聴体験が拡張されたと考えられる [今後の課題] • コンテンツ分析の評価 • テキストコンテンツ用のエフェクトの考案