スマートフォン上のスクリーンキャプチャ画像探索手法の提案

>100 Views

January 31, 17

スライド概要

SIGHCI171で「スマートフォン上のスクリーンキャプチャ画像探索手法の提案」というタイトルで発表を行った際のスライドです

profile-image

明治大学 総合数理学部 先端メディアサイエンス学科 中村聡史研究室

シェア

埋め込む »CMSなどでJSが使えない場合

各ページのテキスト
1.

スマートフォン上の スクリーンキャプチャ画像 探索手法の提案 前島紘希 中村聡史 明治大学 総合数理学部

2.

背景(スクリーンキャプチャ) • 画面をキャプチャし,画像として保存する機能 • Gyazo ‒スクリーンキャプチャ画像を共有できるサービス

3.

背景(スクリーンキャプチャ) • 撮影枚数が膨大なユーザの存在 • スクリーンキャプチャの用途 ‒Webサイト ‒ゲームアプリ ‒SNS ‒電車の乗り換え ‒通販などのメール ‒QRコード ‒情報の比較 © GungHo Online Entertainment

4.

背景(スクリーンキャプチャ) • 撮影枚数が膨大なユーザの存在 • スクリーンキャプチャの用途 ‒Webサイト ‒ゲームアプリ ‒SNS ‒電車の乗り換え ‒通販などのメール ‒QRコード ‒情報の比較

5.

背景(スクリーンキャプチャの探索の難しさ) • 大量の画像から目的の画像を探すのは困難 会話の話題 QRコード © GREE, Inc ©TYPE-MOON / FGO PROJECT

6.

目的 ユーザごとにスマートフォン上の スクリーンキャプチャ画像を 簡単に探索する • スクリーンキャプチャ画像の特性を調査 • スクリーンキャプチャ画像探索手法を提案 • プロトタイプシステムとして実装

7.

予備調査 スクリーンキャプチャ画像の 特性を明らかにする • スクリーンキャプチャ画像の所持数の調査 ‒調査対象:大学生33名 • スクリーンキャプチャ画像の特性の調査 ‒調査対象:大学生5名

8.

スクリーンキャプチャ画像の所持数 • ほとんど撮影しない人から頻繁に撮影を 行う人まで幅広く存在 • 削除を頻繁に行う人も存在 ‒スマートフォンの容量を空けるため

9.

スクリーンキャプチャ画像の特徴 • スマートフォンのスクリーンキャプチャ画像 7438枚の特徴を分析 ‒スクリーンキャプチャ画像の撮影枚数が500枚 を超えている学生5名から収集

10.

特徴1:似た構図の画像が多い • ある程度決まったアプリで撮影 ‒同じアプリのものは構図が似ている

11.

特徴2:短い時間で連続撮影される • ゲームアプリの会話シーンを撮影する ‒動画撮影には手間がかかる ‒動画よりも容量が少ない

12.

特徴2:短い時間で連続撮影される • なんらかのアクションの撮影の前後に さらに撮影が行われる ‒SNSなどに投稿する

13.

分類手法1:特徴点分析を用いた分類 • 類似した画像をクラスタリング ‒ 求めている画像に近い画像の集団から検索できる ©1999-2016 DeNA Co.,Ltd

14.

特徴点分析による分類 • 分類方法 ‒特徴点抽出(SIFT) ‒画像を1つのベクトル に変換(Bag-of-features) ‒クラスタリング(k-means法)

15.

特徴点分析による分類 • 分類方法 ‒特徴点抽出(SIFT) ‒画像を1つのベクトル に変換(Bag-of-features) ‒クラスタリング(k-means法)

16.

分類手法2:撮影時間を用いた分類 • 撮影時間の差が小さい画像群を同一 グループに分類 • 普段の探索と同じ感覚で画像の提示枚数 を減らすことができる

17.

撮影時間による分類 • 分類方法 ‒時間情報を取得 ‒撮影間隔が一定時間内の画像を同一グループ に分類 ©2017 Niantic, Inc. ©2017 Pokémon. , ©1995-2017 Nintendo/Creatures Inc. /GAME FREAK inc.

18.

特徴点分析を用いた分類の調査 • 同じゲームアプリの画像,テキストが多い画 像は同じクラスタに分類される傾向 ©Donuts

19.

特徴点分析を用いた分類の調査 • 統一性が見られない画像群でクラスタが 生成された • クラスタ間の枚数に大きな差が存在

20.

特徴点分析を用いた分類の調査 正しく分類 A 0.65 B 0.75 C 0.65 D 0.80 E 0.25 F 0.60 G 0.60 総合 0.61 • スクリーンキャプチャ 画像が分類できたかを 評価

21.

特徴点分析を用いた分類の調査 正しく分類 A 0.65 B 0.75 C 0.65 D 0.80 E 0.25 F 0.60 G 0.60 総合 0.61 • スクリーンキャプチャ 画像が分類できたかを 評価 • ユーザEのものは正しく 分類されていない ‒ユーザEを除くと68% ‒カメラ画面をキャプチャ していたものが見られた

22.

撮影時間を用いた分類の調査 • 平均20〜30%の削減 • 撮影間隔の閾値を変更してもあまり変化は なかった

23.

プロトタイプシステム • 実装環境:Processing 従来手法 撮影時間 特徴点分析 © 2013 プロジェクトラブライブ! ©2016 プロジェクトラブライブ!サンシャイン!! © KLabGames © bushiroad ©BANDAI NAMCO Entertainment Inc.

24.

探索実験 • 実験協力者:大学生7名 • 検索タスクを提示し,そのタスクに合った画 像を探索してもらう ‒自分の所持しているスクリーンキャプチャ画像 からの探索 • 評価項目 ‒発見までにかかった時間を計測 ‒探索ができたか否か,探索の満足度について の5段階評価 ‒自由記述

25.

検索タスク • 一番面白い画像 • 自分が一番 気に入っている画像 • メモとして文字を キャプチャした画像 • SNSで共有するために 撮影した画像 • 一番嬉しかった画像 友人と共有

26.

検索タスク • 一番面白い画像 • 自分が一番 気に入っている画像 • メモとして文字を キャプチャした画像 • SNSで共有するために 撮影した画像 • 一番嬉しかった画像 思い出の想起

27.

検索タスク • 一番面白い画像 • 自分が一番 気に入っている画像 • メモとして文字を キャプチャした画像 • SNSで共有するために 撮影した画像 • 一番嬉しかった画像 情報探索

28.

検索タスク • 一番面白い画像 • 自分が一番 気に入っている画像 • メモとして文字を キャプチャした画像 • SNSで共有するために 撮影した画像 • 一番嬉しかった画像 撮影状況の想起

29.

検索タスク • 一番面白い画像 • 自分が一番 気に入っている画像 • メモとして文字を キャプチャした画像 • SNSで共有するために 撮影した画像 • 一番嬉しかった画像 友人と共有 記憶の想起

30.

実験結果(探索時間・5段階評価) 全ユーザ平均 従来手法 撮影時間 画像特徴量 かかった時間 1:10 1:04 1:07 • 全体の平均に大き な差は見られな かった • 特徴点分析の 評価値が高い • 撮影時間は従来 手法よりも低い

31.

考察(特徴点分析) • 探す画像がまとまっており,少ない候補か ら探索ができた ‒評価が高くなった主な要因 • 似た画像が複数のクラスタに分散 • 枚数が少ないクラスタが存在 ‒画像ごとの類似度を数値化し,閾値を設定す ることで緩和が可能?

32.

考察(撮影時間) • 従来方法よりも評価が低い ‒グループ化することで見落としが発生してしま うことが原因か • スクロール時間が少なくなった ‒探索画面で提示枚数が少なくなったことが 実感できている

33.

まとめ • スマートフォンのスクリーンキャプチャ画像 の特性調査 • スマートフォンのスクリーンキャプチャ画像 分類手法の提案 • プロトタイプシステムの実装 • 探索実験の実施 [今後の展開] • 他の手法を用いた分類 • スマートフォン上でのシステムの実装