オフライン手書き文字数式化手法の提案と大規模平均文字の比較

159 Views

March 11, 17

スライド概要

第101回グループウェアとネットワークサービス研究発表会で使用したスライドです。
The Proposal of A Method to Mathematize A Handwritten Stroke in Off-Line and The Comparison of Large Averaged Handwritten Characters

profile-image

明治大学 総合数理学部 先端メディアサイエンス学科 中村聡史研究室

シェア

埋め込む »CMSなどでJSが使えない場合

各ページのテキスト
1.

新納  真次郎郎、⻫斉藤  絢基、久保⽥田夏美 中村  聡史、  鈴鈴⽊木  正明 (明治⼤大学  総合数理理学部  先端メディアサイエンス学科) 第101回グループウェアとネットワークサービス研究発表会

2.

 背景 #1 •⼿手書きを利利⽤用する機会は今現在でも多い!   •⽂文化庁の世論論調査によると⼿手書きを利利⽤用する機会が ! 26$ 「ある」と答えた⼈人は73% ⽇日常⽣生活において, ⽂文字を⼿手書きする機会があるか?   平成  26  年年度度「国語に関する世論論調査」   27% はい 73%73%

3.

背景 #2 •ペンタブレットなどが普及し、 コンピュータ上でも⼿手書きが⾏行行える機会が増加   オンライン⼿手書き •しかし、紙とペンによる⼿手書きも未だに⼀一般的! オフライン⼿手書き

4.

 背景 #2 •ペンタブレットなどが普及し、 コンピュータ上でも⼿手書きが⾏行行える機会が増加   オンライン⼿手書き これらの⼿手書きを⽀支援する   •しかし、紙とペンによる⼿手書きも未だに⼀一般的! 研究は数多く存在する オフライン⼿手書き

5.

 背景(関連研究) •dePENd  [⼭山岡  2013]   -‐‑‒ #3 ⼿手書きにおける正確な描画を磁⼒力力によって⽀支援

6.

 背景(関連研究) •⾳音声ペン  [栗栗原  2005]   -‐‑‒ ⾳音声認識識によって関連した予測変換を提⽰示 #4

7.

 背景(関連研究) #5 •平均⽂文字は美しい  [中村  2014] 中村,鈴木,小松! 平均文字は美しい,EC2014! みんなが書いた   オンライン⼿手書き⽂文字 平均⽂文字

8.

 背景(関連研究) #5 •平均⽂文字は美しい  [中村  2014] ⼿手書きの1画1画(ストローク)を 中村,鈴木,小松! 数式化することで実現している 平均文字は美しい,EC2014! みんなが書いた   オンライン⼿手書き⽂文字 平均⽂文字

9.

 ⼿手書きストロークの数式化 #6 •フーリエ級数展開によるストロークの数式化 272.08cos(0t)  +  0sin(0t)  +  16.62cos(1t)  +  -‐‑‒0.09sin(1t)  +  29.81cos(2t)  +  -‐‑‒0.32sin(2t)  +   -‐‑‒2.91cos(3t)  +  0.05sin(3t)  +  -‐‑‒37.67cos(4t)  +  0.8sin(4t)  +  18.93cos(5t)  +  -‐‑‒0.5sin(5t)  +   3.17cos(6t)  +  -‐‑‒0.1sin(6t)  +  8.71cos(7t)  +  -‐‑‒0.33sin(7t)  +  -‐‑‒0.03cos(8t)  +  0sin(8t)  +  ・・・ != 229.95cos(0t)  +  0sin(0t)  +  42.82cos(1t)  +  -‐‑‒0.23sin(1t)  +  4.75cos(2t)  +  -‐‑‒0.05sin(2t)  +   44.24cos(3t)  +  -‐‑‒0.7sin(3t)  +  16.89cos(4t)  +  -‐‑‒0.36sin(4t)  +  -‐‑‒2.51cos(5t)  +  0.07sin(5t)  +   3.11cos(6t)  +  -‐‑‒0.1sin(6t)  +  0.71cos(7t)  +  -‐‑‒0.03sin(7t)  +  0.6cos(8t)  +  -‐‑‒0.03sin(8t)  +  ・・・ 𝑦 𝑥 http://satoken.nkmr.io/2015/Char2Fourier/convert.html

10.

 ⼿手書きを応⽤用した研究 平均化による⼿手書きの美化 #7 ⼿手書きの上達⽀支援 中村,鈴木,小松! 平均文字は美しい,EC2014!  [中村  2014]  [新納  2015] ⼿手書きのアニメーション表現  [佐藤  2015]  [久保⽥田  2016] ⼿手書きの認知科学的解明  [斎藤  2016]

11.

 ⼿手書きを応⽤用した研究 平均化による⼿手書きの美化 #7 ⼿手書きの上達⽀支援 しかし、これまではオンライン⼊入⼒力力された ⼿手書きに対してしか数式化できなかった 中村,鈴木,小松! 平均文字は美しい,EC2014!  [中村  2014]  [新納  2015] ⼿手書きのアニメーション表現  [久保⽥田  2016] ⼿手書きの認知科学的解明 オフライン⼿手書き⽂文字を数式化することで ⼿手書きをより様々なことに応⽤用!!  [佐藤  2015]  [斎藤  2016]

12.

オンラインとオフラインと違い •オンライン:筆順情報を持っている   •オフライン:筆順情報を持っていない #8

13.

オンラインとオフラインと違い •オンライン:筆順情報を持っている   ストロークの筆順を復復元し   •オフライン:筆順情報を持っていない それらを数式化する!! #8

14.

 本研究の⽬目的 #9 画像から⼿手書き⽂文字を数式化し 様々な応⽤用を! •今回対象とするのはひらがなに限定   •応⽤用の1つとして⼤大規模なオフライン⼿手書き⽂文字の 平均化に応⽤用 平均化 ?

15.

 オフライン数式化⼿手法 1 サンプルデータの構築 2 画像処理理によって中⼼心線抽出 3 始点・終点抽出 4 ストローク抽出 5 ストローク数式化 #10

16.

 オフライン数式化⼿手法 1 サンプルデータの構築 2 画像処理理によって中⼼心線抽出 3 始点・終点抽出 4 ストローク抽出 5 ストローク数式化 #10

17.

 オフライン数式化⼿手法  1 #11 •サンプルデータの構築 オンライン⼊入⼒力力されたサンプルデータの構築によって 始点・終点やストローク情報をある程度度把握する

18.

 オフライン数式化⼿手法 1 サンプルデータの構築 2 画像処理理によって中⼼心線抽出 3 始点・終点抽出 4 ストローク抽出 5 ストローク数式化 #12

19.

 オフライン数式化⼿手法  2 #13 •ストロークの中⼼心線を抽出するため画像処理理 オリジナル   画像 ⼤大津の2値化処理理 グレイスケール処理理 細線化   画像 Zhang  Suenの細線化処理理

20.

 オフライン数式化⼿手法  2 #13 •ストロークの中⼼心線を抽出するため画像処理理 オリジナル   画像 ⼤大津の2値化処理理 グレイスケール処理理 細線化   画像 Zhang  Suenの細線化処理理

21.

 オフライン数式化⼿手法  2 #13 •ストロークの中⼼心線を抽出するため画像処理理 オリジナル   画像 ⼤大津の2値化処理理 グレイスケール処理理 細線化   画像 Zhang  Suenの細線化処理理 ⼤大津展之:  判別および最⼩小2乗規準に基づく⾃自動しきい値選定法 電⼦子情報通信学会論論⽂文誌,  pp.  349–356,  1980.

22.

 オフライン数式化⼿手法  2 #13 •ストロークの中⼼心線を抽出するため画像処理理 オリジナル   画像 ⼤大津の2値化処理理 グレイスケール処理理 細線化   画像 Zhang  Suenの細線化処理理 T.  Y.  ZHANG  and  C.  Y.  SUENA.  Fast  Parallel  Algorithm  for  Thinning  Digital  Patterns Communications  of  the  ACM  CACM  Homepage,  1984.

23.

 オフライン数式化⼿手法 1 サンプルデータの構築 2 画像処理理によって中⼼心線抽出 3 始点・終点抽出 4 ストローク抽出 5 ストローク数式化 #14

24.

 オフライン数式化⼿手法  3 •始点・終点の抽出 細線化画像 #15 端点集合 端点 P1 P2 P3 P4 P5 8近傍に点が1つのみの箇所を 端点とし、端点集合を作成 P6

25.

 オフライン数式化⼿手法  3 •始点・終点の抽出 端点集合 P1 P2 P3 P4 P5 #16 サンプルデータ ⼤大きさや位置を揃える P6 サンプルデータと⽐比較するため ⼤大きさと位置を正規化する

26.

 オフライン数式化⼿手法  3 •始点・終点の抽出 P2 P1 P3 P4 P5 P6 順列列 #17 1画⽬目の   始点:P2   終点:P3 2画⽬目の   始点:P1   終点:P5 3画⽬目の   始点:P4   終点:P6 得られた端点とサンプルデータの始点・終点が   最⼩小距離離になるようなパターンを選出

27.

 オフライン数式化⼿手法 1 サンプルデータの構築 2 画像処理理によって中⼼心線抽出 3 始点・終点抽出 4 ストローク抽出 5 ストローク数式化 #18

28.

 オフライン数式化⼿手法  4 • ストロークの抽出 例例)  3画⽬目:P4  →  P6 P1 P2 P3 P4 P5 P6 始点から終点まで 始点から終点まで 点列列を辿っていく 点列を辿っていく #19 パ   タ   |   ン A パ   タ   |   ン B 分岐が⽣生じた場合は   分岐が生じた場合は 複数経路路を辿る 複数経路を辿る

29.

 オフライン数式化⼿手法  4 #20 •ストロークの抽出 複数の候補ストローク   サンプルデータ 候補ストロークの中からサンプルストロークと もっとも距離離が近いものを選抜

30.

 オフライン数式化⼿手法 1 サンプルデータの構築 2 画像処理理によって中⼼心線抽出 3 始点・終点抽出 4 ストローク抽出 5 ストローク数式化 #21

31.

 オフライン数式化⼿手法  5 •ストロークの数式化 得られたストロークを 得られたストロークを フーリエ級数展開によって数式化 フーリエ級数展開によって数式化 #22

32.

 評価実験 #23 本提案⼿手法によってどの程度度の精度度で 正しく数式化が⾏行行えるかを評価する •評価に関しては我々の主観によって⾏行行う 評価システム

33.

 データセット構築 #24 •オフライン⼿手書き⽂文字データセットを構築 = 5(⼈人) ひらがな46(語) 3(回) 計690 (データ) ⾹香蘭⼥女女学校の中・⾼高⽣生から協⼒力力者を集め 5⼈人を無作為に選定

34.

 データセット構築 #24 •オフライン⼿手書き⽂文字データセットを構築 = 5(⼈人) ひらがな46(語) ランダムな順に指定された ⽂文字をプリントに記⼊入 3(回) 計690 (データ)

35.

 データセット構築 #24 •オフライン⼿手書き⽂文字データセットを構築 = 5(⼈人) ひらがな46(語) 3(回) ボールペンやえんぴつなどで 3試⾏行行繰り返し書いてもらった 計690 (データ)

36.

 各ひらがなの評価結果 #25 •平均70%の精度度で数式化 をすること可能としていた   •上⼿手くいっていた例例 •失敗していた例例 のセルは10%以下のもの のセルは80%以上のもの

37.

 結果に対する考察   #26 •特に精度度が悪かった「あ・ぬ・む・め」について   -‐‑‒ 交差点を多く含み、間違った経路路を辿ってしまう   -‐‑‒ ストローク集合からもっともらしいストロークを 選抜する際に、点列列の距離離だけでなく曲率率率なども サンプルと⽐比較することによって改善できる? Curving 候補ストローク サンプルストローク t

38.

 結果と考察   #27 •ユーザごとの精度度の違い   サンプル •「き」「さ」「そ」「ふ」などの書き⼿手によって 書き⽅方が変わるものについては複数のサンプルを⽤用 意することによって改善

39.

#28  ⼤大規模平均⽂文字をつくってみた • 精度度が⾼高かった⽂文字について平均⽂文字を⽣生成   -‐‑‒ ⾹香蘭⼥女女学校の中⾼高⽣生の約200⼈人の⽂文字   -‐‑‒ 3試⾏行行分を使⽤用し、総データ数は約600データ!   -‐‑‒ 学年年ごとの平均⽂文字や平均⽂文字の収束性を分析 「う」 「け」 「さ」 「せ」

40.

#28 #28  ⼤大規模平均⽂文字をつくってみた • 精度度が⾼高かった⽂文字について平均⽂文字を⽣生成   -‐‑‒ ⾹香蘭⼥女女学校の中⾼高⽣生の約200⼈人の⽂文字   -‐‑‒ 3試⾏行行分を使⽤用し、総データ数は約600データ!   -‐‑‒ 学年年ごとの平均⽂文字や平均⽂文字の収束性を分析 「う」 「け」 「さ」 「せ」

41.

 ⼿手書き⽂文字の分析(1) • 学年年ごとの平均⽂文字の推移 #29             (各学年年  約40⼈人分のデータを使⽤用) 学年年 中1 中2 中3 ⾼高1 ⾼高2

42.

 ⼿手書き⽂文字の分析(1) #29 • 学年年ごとの平均⽂文字の推移             (各学年年  約40⼈人分のデータを使⽤用) 学年年中学1年年⽣生は⼩小学⽣生時代の⼿手書き練習に よって⽂文字を⼤大きく書いてしまっている? 中1 中2 中3 ⾼高1 ⾼高2 ⾼高校⽣生で⼩小さくなるのは試験の解答⽤用紙に ⼩小さく書かなければならないため?

43.

 ⼿手書き⽂文字の分析(2) •平均⽂文字の収束性   -‐‑‒ 100⼈人分(無作為に選定)のグループごとの 平均⽂文字の⽐比較 グループAの   平均⽂文字 グループBの     平均⽂文字 #30

44.

 ⼿手書き⽂文字の分析(2) •平均⽂文字の収束性   -‐‑‒ 100⼈人分(無作為に選定)のグループごとの 平均⽂文字の⽐比較 グループAの   平均⽂文字 グループBの     平均⽂文字 #30

45.

 ⼿手書き⽂文字の分析(2) #30 •平均⽂文字の収束性   -‐‑‒ 100⼈人分(無作為に選定)のグループごとの 平均⽂文字の⽐比較 グループAの   平均⽂文字 100⼈人もの⼿手書き⽂文字データを集めれば, その平均⽂文字は収束する!! グループBの     平均⽂文字

46.

 本研究の応⽤用可能性 平均化による⼿手書きの美化 #31 ⼿手書きの上達⽀支援 中村,鈴木,小松! 平均文字は美しい,EC2014! SCAN 例例)⼿手書きを⾃自動に綺麗麗にしてくれるスキャナ ⼿手書きのアニメーション表現 例例)スマホ撮影によるお⼿手本サンプリング ⼿手書きの認知科学的解明 = 例例)拡張現実による⽂文字アニメーション表現 例例)オンラインで書いても オフラインで書いても平均⽂文字は⼀一緒?

47.

 まとめ •紙上の⼿手書きの平均化や⼿手書きアニメーションを #32 実現するため、紙上の⼿手書き⽂文字の数式化⼿手法を提案   •数式化の精度度は今のところ約70%   •オフライン⼿手書き⽂文字を平均化に応⽤用    [今後の課題]   •数式化の精度度の向上   •600⼈人のデータを利利⽤用した平均⽂文字の特徴分析   •ひらがなだけではなく漢字やイラストに応⽤用