眼鏡型集中度計測端末による行動推定

646 Views

March 15, 19

スライド概要

DEIM2019にて発表したものです

profile-image

明治大学 総合数理学部 先端メディアサイエンス学科 中村聡史研究室

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

眼鏡型集中度計測端末による 行動推定 南里 英幸(B3),中村聡史 (明治大学 総合数理学部 先端メディアサイエンス学科)

2.

ライフログ →人間の生活を何らかの目的のために長期的に デジタルデータとして記録すること 私たちが日ごろ残している写真やファイル,このスライドなど もすべてライフログの一種 記録したライフログを利用することで,昔を思い出す手がかり や新たな着想を得るヒントなど活用できる可能性は大きい

3.

ライフログ →人間の生活を何らかの目的のために長期的に デジタルデータとして記録すること 私たちが日ごろ残している写真やファイル,このスライドなども すべてライフログの一種 記録したものを探索することが大切 記録したライフログを利用することで,昔を思い出す手がかりや 新たな着想を得るヒントなど活用できる可能性は大きい

4.

例えば… • 苦労してクリアした音ゲーのステージを撮った写真を探したい

5.

苦労してクリアした音ゲーの楽曲を撮った写真を探したい • 曲名は記憶にあるが,いつどこで撮った などは覚えていない • 同じ写真ばっかりで,ぱっと見てどれが 目的のものかわからない (動画)

6.

苦労してクリアした音ゲーの楽曲を撮った写真を探したい • 曲名は記憶にあるが,いつどこで撮った などは覚えていない • 同じ写真ばっかりで,ぱっと見てどれが 目的のものかわからない 探すのが大変!! (動画)

7.

苦労してクリアした音ゲーの楽曲を撮った写真を探したい • 曲名は記憶にあるが,いつどこで撮った などは覚えていない • 同じ写真ばっかりで,ぱっと見てどれが 目的のものかわからない (動画) 探しやすくする方法はないか? 探すのが大変!!

8.

ライフログの手がかり

9.

ライフログの手がかり

10.

ライフログの手がかり 手がかりは?

11.

ライフログの手がかり あの時,やけ に集中してた 気がする これくらいの 点数だったような 記憶 手がかりは? あの場所で 撮ったような

12.

ライフログの手がかり 人 時間 位置情報

13.

先行研究 • 写真探索において,時間や空間に加え人間関係を利用した 手法[Gomi 2011][中村 2012,13] [Gomi 2011] [中村 2012,13]

14.

ライフログの手がかり サムネイル画像 タグ付け 時間 位置情報 +α

15.

ライフログの手がかり サムネイル画像 タグ付け 手動でのタグ付けは手間 時間 位置情報 +α

16.

Google Photo

17.

Google Photo

18.

先行研究 • 主観ライフログ写真の探索を支援する手段として,写真を 撮影時の撮影行動を記録し,それに基づいた探索が可能か の検討[神山ら 2015] • ライフログビデオから脳波等のセンサを用いてコンテキス トを推定することで,タグ付けをする手法[堀ら 2003]

19.

先行研究 • 主観ライフログ写真の探索を支援する手段として,写真を 撮影時の撮影行動を記録し,それに基づいた探索が可能か の検討[神山ら 2015] • ライフログビデオから脳波等のセンサを用いてコンテキス トを推定することで,タグ付けをする手法[堀ら 2003] しかし,これでも不十分

20.

本研究では… • 何かにのめりこんでいる,何かに注目している状態とはそ の何かに集中しているということになる. • 今回は,集中を分析に利用 • 集中を扱うならばJINS MEMEを使用するのが適している JINS MEME

21.

研究目的 JINS MEMEで計測された集中度から 実際の行動を予測することが できるかどうかの検討 ① 個人について行動予測可能か検証 ② グループアクティビティについても行動予測可能か検証

22.

データセット構築:個人 分析対象:明治大学の学生5人・指導教員1人 (12月1日~12月31日) • 日常的にJINS MEMEを装着してもらい,1日6時間程度データ を収集するように指示した • 一日のやったこと(例:13:00~14:00 開発)を記録してもらった

23.

データセット構築:グループ 対象:明治大学の学生29人・指導教員1人 期間:11月22日~12月13日の毎週木曜日4日のうち, ゼミナール3時間30分 収集したもの: 集中度・議事録・タイムスケジュール・動画

24.

平滑化 • 15秒ごとに記録した集中度を図のようにグラフ化 • 生のデータのままではぶれがあるので平滑化した 時刻𝑡における集中度𝐶(𝑡)が𝑛個データがあるとき, 平滑化した時刻tの集中度𝐶𝑠 (𝑡)は以下のように定義 集中度 𝐶 𝑡−1 +𝐶 𝑡 +𝐶 𝑡+1 𝐶𝑠 𝑡 = (1 ≤ 𝑡 ≤ 𝑛 − 1) 3 平滑化 時間

25.

分析 ① 個人のデータに関する分析 ② グループに関する分析

26.

分析① ① 個人のデータに関する分析 ② グループに関する分析

27.

分析①:一日の集中度のグラフ1

28.

分析①:一日の集中度のグラフ1 授業 作業① 散策 飲み会 作業② 帰宅

29.

分析①:一日の集中度のグラフ1 授業 作業① 散策 飲み会 作業② 帰宅

30.

分析①:一日の集中度のグラフ1 授業 作業① 散策 飲み会 作業② 帰宅

31.

分析①:一日の集中度のグラフ2

32.

分析①:一日の集中度のグラフ2 移動 試験 移動 買い物 飲み会 移動

33.

分析①:一日の集中度のグラフ2 移動 試験 移動 買い物 飲み会 移動

34.

分析①:一日の集中度のグラフ2 移動 試験 移動 買い物 飲み会 移動

35.

分析①:一日の集中度のグラフ2 移動 試験 移動 買い物 飲み会 移動

36.

分析①:音楽ゲームをやっているときの集中度のグラフ • ある日の実験協力者Cの集中度のグラフ • 音楽ゲーム2種(S・B)をやったとき

37.

分析①:音楽ゲームをやっているときの集中度のグラフ ❶ ❷ ❸ S ❹ ❶ ❷ B

38.

分析①:音楽ゲームをやっているときの集中度のグラフ ❶ ❷ ❸ ❹ ❶ ❷ 種類によって集中度の変化の傾向が異なっている

39.

分析①:音楽ゲームをやっているときの集中度のグラフ • 音楽ゲームS: ❶ • 3曲プレイした様子が分かる • 3つの山ができている様子から,3曲プレイ している様子がわかる ❶ ❷ ❸ ❹ ❶ ❷

40.

分析①:音楽ゲームをやっているときの集中度のグラフ • 音楽ゲームS: ❶ • 3曲プレイした様子が分かる • 3つの山ができている様子から,3曲プレイして いる様子がわかる • 音楽ゲームS: ❷ • 2曲プレイした様子が分かる ❶ ❷ ❸ • ❶と異なり,山が二つで止まっている ❶ ❹ ❷ • 2個目の山が途中で止まっている →2曲目の途中で失敗してしまったことがうかが える

41.

分析①:音楽ゲームをやっているときの集中度のグラフ • 音楽ゲームS: ❸ • 3曲プレイした様子が分かる ❶ ❷ ❸ • しかし,❷のときにノルマを失敗し た影響で,集中力が下がった影響が 1つの山が低くなっている • 以降は集中力が戻っている. ❹ ❶ ❷

42.

分析 >>3.分析② ① 個人のデータに関する分析 ② グループに関する分析

43.

分析②:12月6日のゼミナールの集中度

44.

分析②:講演中検索行動しているときの集中度

45.

分析②:12月6日のゼミナールの集中度

46.

分析②:12月6日のゼミナールの集中度 3部構成に なっている 様子が分かる 長引いた発表練習 発表練習 講演

47.

分析②:11月22日でのグループワーク時の集中度

48.

分析②:グループワーク時,グループごとの集中度 グループA グループB

49.

分析②:グループワーク時,グループごとの集中度 グループごとで集中度が 同期しているタイミング が異なる グループA 集中度の上下の同期性か ら,グループのクラスタ リングができるのではな いか? グループB

50.

考察(1/2) • アクティビティごとに分割すると,アクティビティごとで傾向が 異なる様子が見られた. ⇒個人限らずグループについてアクティビティが推定できる可能性 • 同じアクティビティ内でも内容によって傾向が異なっている様子 が見られた. ⇒同じアクティビティでも違う内容である様子を推定できる可能性

51.

考察(2/2) • グループ内で特出した傾向が見られた人を観察すると,別行動を していた様子が見られた ⇒グループ内で別行動している人の検出可能性 • グループによる集中度の変化の同期性からグループを推測できる 可能性 ⇒グループのクラスタリングを推定できる可能性

52.

今後の展望 • 日々の活動から集中度を収集 • 機械学習を用いて,イベントを推定 • タグ付けすることで,検索の手助け タグ 最後緊張 集中度を 収集 機械学習 イベントを 推定 タグ付け 長時間

53.

まとめ 背景 ライフログにおける探索の手がかりの欠如 自動的に手がかりを付与する手段はないか? 目的 集中度から個人・グループの活動の行動が推定 できるか検証 結果 集中度からより詳細な個人・グループの行動推定 できる可能性が示唆 展望 機械学習などを用いて,検出可能かどうか検証予定