自他との平均化により手書きをきれいにするシステムの提案

>100 Views

July 14, 17

スライド概要

第10回WI2研究会 発表資料(又吉康綱)

profile-image

明治大学 総合数理学部 先端メディアサイエンス学科 中村聡史研究室

シェア

埋め込む »CMSなどでJSが使えない場合

各ページのテキスト
1.

明治大学総合数理学部先端メディアサイエンス学科 又吉康綱,久保田夏美,斉藤絢基,大島遼,中村聡史,鈴木正明 第10回WI2研究会 2017.07.08 @京都大学

2.

デモ

3.

背景 情報端末に専用ペンが付属するようになった 手書きする機会が増えてきた https://www.microsoft.com/ja-jp/surface/accessories/surface-pen https://www.apple.com/jp/apple-pencil/

4.

背景 学習のノートやメモを情報端末でとる https://www.microsoft.com/en-au/store/d/surface-pen/ https://itunes.apple.com/jp/app/myscript-memo/

5.

背景:手書きとタイピング 日本語のメモ書き作業における手書き入力の有効性 [ムハマド ズルキフリー 2008] 入力速度,認知的負荷に着目し,日本語メモ書き作業における 手書きとタイピングの比較実験を行った. 手書きの方がタイピングよりも 速く正確に書ける

6.

背景:手書きに関する意識調査 自分の手書きが恥ずかしいと 感じたことがある? もっとキレイだったらと 後悔したことがある? ない ない 35.7% 36.8% ある 64.3% ある 63.2% ゼブラ株式会社 2015年 http://www.zebra.co.jp/press/news/2015/0403.html

7.

背景:手書きの抵抗感 原因 自身の満足する手書き文字が書けない!

8.

背景:先行研究 平均文字は美しい[中村ら 2014] 手書き文字を数式化することで,複数文字を平均化 平均した文字を実際に書いた文字よりも高く評価される

9.

背景:先行研究 手書き文字に対する書き手識別と好感度に関する調査 [斉藤ら 2016] 他者の手書き文字と融合すると自身の文字の特徴を残しつつ 字形やバランスが整うため好印象になる

10.

背景:手書きの抵抗感の解決 原因 自身の満足する手書き文字が書けない! 自身の平均文字や他者との融合文字を提示

11.

仮説:背景より 手書き文字を,自他の手書き文字とリアルタイムに 融合することで評価が高い文字にできノートテイク に対する満足感が得られる?

12.

本研究では 1. 自他の手書き文字に対し融合手法を用いた プロトタイプシステムの提案と実装 2. システムの利用テストから仮説に関する検討

13.

関連研究 Handwriting Beautification Using Token Means [Zitnick 2013]

14.

関連研究 Handwriting Beautification Using Token Means [Zitnick 2013] • 漢字などの画数が多く,バランスをとるのが難しい文字には 適していない • 同一人物のストローク曲率が似てることを前提としており、 曲率が異なる他者との融合には適していない 文字認識と数式化により解決

15.

提案手法:概要 文字認識「あ」 数式化 𝑥1 = 𝑓1 (𝑡) ቊ 𝑦1 = 𝑔1 (𝑡) 融合文字提示 1 : 2 : 融合 手書き文字 データベース : 3 : : 4 : : 𝑥2 = 𝑓2 𝑡 ቊ 𝑦2 = 𝑔2 (𝑡)

16.

提案手法:手書き文字の数式化 ストロークの スプライン補間 点列座標を取得 (点間を狭める) 𝑥, 𝑦 = { 𝑥1 , 𝑦1 , … , 𝑥𝑛 , 𝑦𝑛 } フーリエ級数展開 により数式化 𝑥, 𝑦 = { 𝑥1 , 𝑦1 , 𝑥1.1 , 𝑦1.1 , 𝑥1.𝑚 , 𝑦1.𝑚 , … , 𝑥𝑛 , 𝑦𝑛 } 𝑥 =𝑓 𝑡 ቊ 𝑦 = 𝑔(𝑡)

17.

提案手法:手書き文字の数式化 𝒙= 306.83cos 0𝑡 + 0sin 0𝑡 + 10.08cos 1𝑡 − 0.04sin(1𝑡) ൞ +15.07𝑐𝑜𝑠 2𝑡 − 0.13𝑠𝑖𝑛(2𝑡) − 15.63𝑐𝑜𝑠 3𝑡 + 0.2𝑠𝑖𝑛 3𝑡 −43.31𝑐𝑜𝑠 4𝑡 − 0.75𝑠𝑖𝑛(4𝑡) + 24.23𝑐𝑜𝑠 5𝑡 − 0.52𝑠𝑖𝑛(5𝑡)… 𝒚= 285.23cos 0𝑡 + 0sin 0𝑡 + 86.7cos 1𝑡 − 0.37sin(1𝑡) ൞−6.63cos 2𝑡 + 0.06sin 2𝑡 + 16.44cos 3𝑡 − 0.21sin 3𝑡 6.82cos 4𝑡 − 0.12sin(4𝑡) − 26.07cos 5𝑡 + 0.56sin(5𝑡)… http://satoken.nkmr.io/2015/Char2Fourier/convert.html

18.

提案手法 文字認識「あ」 数式化 手書き文字 データベース 融合文字提示 : B : 融合 A : C : : D : :

19.

平均化手法:自身の手書き文字の融合 N + 入力された手書き文字 + ・・・・ + N = 手書き文字データベースに存在する 数式化した文字と平均化を行う 平均文字

20.

平均化手法:自身の手書き文字の融合 http://avgchar.nkmr.io/

21.

平均化手法:他者の手書き文字の融合 他者の手書き文字データ ( 𝜶 を0から1に設定) 平均化 (1 − 𝛼) ∗ 他者の平均文字 +𝛼∗ = 入力した手書き文字 融合文字

22.

実装 プロトタイプシステム : Mo j i r age - 平均文字ノート h t t p: //moj i r age. com

23.

実装

24.

実装

25.

実装 ポスターセッション やります!⑫番

26.

利用テスト • 協力者:学生5人(21歳~23歳) • 機器:iPad Pro(12.9inch) & Apple Pencil • 内容:文章を4回模写 • 文章:宮沢賢治作「ポラーノの広場」(一部) あのイーハトーヴォのすきとおった風、夏でも底に冷 たさをもつ青いそら、うつくしい森で飾られたモリー オ市、郊外のぎらぎらひかる草の波。 http://www.aozora.gr.jp/cards/000081/files/1935_19925.html

27.

利用テスト内容:自身との融合 自身との融合の利用テスト 文章を3回模写 提示文字 /1 = 1回目 2回目 ( + 3回目 ( + /2 = ) + ) /3 =

28.

利用テスト結果:自身との融合 • 融合前 • 融合後 • 融合前 • 融合後 • 融合前 • 融合後

29.

利用テスト結果:自身との融合 • 融合前 • 融合後 • 融合前 • 融合後 • 融合前 • 融合後

30.

アンケート結果:自身との融合 肯定的な意見 「平均化された漢字が特にバランスがよく,好きだった」 「やたら大きく書いた文字でも,平均化することで いい 大きさになった」 →先行研究の「ユーザが実際に書いた文字よりも, 自身の平均文字の方を高く評価する」と同じような 傾向がみられた

31.

アンケート結果:自身との融合 否定的な意見 「字のバランスなどの違いを感じなかった」 →筆跡の恒常性:ブレがない文字を書く協力者には, 平均化が限定的なものになっていると考えられる →書きにくい環境なら,よりシステムの効果がある?

32.

利用テスト考察:自身との融合 利用回数が増えるほど,きれいな手書き文字に変換される 3回分 580回分

33.

利用テスト内容:他者との融合 他者が過去に書いた手書き文字との融合 文章を1回模写 「自身との融合」で入力した3回分の平均文字を使用 融合相手は自身で選択

34.

利用テスト結果:他者との融合 • 融合前 • 融合後 • 融合前 • 融合後 • 融合前 • 融合後

35.

アンケート結果:他者との融合 肯定的な意見 「自身の字がすごい勢いで変換されて,自身の字の汚さを 実感し,融合後の字が好きであると感じた」 「他者と融合することで,いつも上手く書けなかった文字も 納得いく文字になった」

36.

アンケート結果:他者との融合 否定的な意見 「形が崩れた」 書き順の違い 「融合相手が気に入らなかった」 選べる対象が少なかったから

37.

利用テスト考察:他者との融合 アンケートより 「他者の文字が混ざっていると思ったら面白くなってしまった」 「融合後の字が好きである 」 「好きな文字と融合すると満足感が高い 」 好みの手書き文字を書く人が好きなら もっと満足感が得られるのでは?

38.

利用テスト:仮説の確認 アンケートで肯定的な意見が多かった もっと使いたいという意見が得られた 仮説の確認 仮説:自他の手書き文字と融合することでノートテイク に対する満足感が得られる ? 👉 アンケート結果より肯定的な意見が多かったので 仮説の立証が見込まれる

39.

まとめ • 手書き文字を自身や他者と融合する手法を用いた ノートテイクを提案した • 利用テストよりシステムの有用性が示唆された

40.

今後の応用例 好きな人が書く文字と 融合したらもっと満足度が上がるのでは?

41.

今後の応用例 応援しているアイドルの文字と 融合したらもっと満足度が上がるのでは?

42.

今後の応用例 応援しているアイドルの文字と 融合したらもっと満足度が上がるのでは?

43.

今後の応用例 アイドルのパフォーマンス 顔 歌声 ダンス アイドルにとって手書きメッセージは 自身を表現し,ファンを喜ばせる パフォーマンスの一つ 手書き文字 http://www.keyakizaka46.com/s/k46o/search/artist

44.

今後の応用例 アイドル アイドルとノートをとる体験? https://ameblo.jp/bigcatstudio/entry-12249712162.html

45.

今後の応用例 アイドル アイドルとノートをとる体験? https://ameblo.jp/bigcatstudio/entry-12249712162.html

46.

今後の応用例

47.

まとめ • 手書き文字を自身や他者と融合する手法を用いた ノートテイクを提案した • 利用テストよりシステムの有用性が示唆された 今後の予定 システムの改良 自他との平均化によりきれいにノートやメモを とることができるかの実験 http://mojirage.com