---
title: オフライン手書き文字数式化手法の提案と大規模平均文字の比較
tags: 
author: [Nakamura Laboratory (Meiji University)](https://www.docswell.com/user/nkmr-lab)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/KYJ6KKY1JV.jpg?width=480
description: 第101回グループウェアとネットワークサービス研究発表会で使用したスライドです。 The Proposal of A Method to Mathematize A Handwritten Stroke in Off-Line and The Comparison of Large Averaged Handwritten Characters
published: March 11, 17
canonical: https://www.docswell.com/s/nkmr-lab/ZQ23M5-ss-73024981
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/KYJ6KKY1JV.jpg)

新納  真次郎郎、⻫斉藤  絢基、久保⽥田夏美
中村  聡史、  鈴鈴⽊木  正明
（明治⼤大学  総合数理理学部  先端メディアサイエンス学科）
第101回グループウェアとネットワークサービス研究発表会


# Page. 2

![Page Image](https://bcdn.docswell.com/page/5GJ5PPGLJ4.jpg)

  背景
#1
•⼿手書きを利利⽤用する機会は今現在でも多い！  
•⽂文化庁の世論論調査によると⼿手書きを利利⽤用する機会が
!
26$
「ある」と答えた⼈人は73%
⽇日常⽣生活において，
⽂文字を⼿手書きする機会があるか？  
平成  26  年年度度「国語に関する世論論調査」  
27%
はい
73%73%


# Page. 3

![Page Image](https://bcdn.docswell.com/page/V9E266Y37R.jpg)

背景
#2
•ペンタブレットなどが普及し、
コンピュータ上でも⼿手書きが⾏行行える機会が増加  
オンライン⼿手書き
•しかし、紙とペンによる⼿手書きも未だに⼀一般的！
オフライン⼿手書き


# Page. 4

![Page Image](https://bcdn.docswell.com/page/5D7Y99G8JM.jpg)

  背景
#2
•ペンタブレットなどが普及し、
コンピュータ上でも⼿手書きが⾏行行える機会が増加  
オンライン⼿手書き
これらの⼿手書きを⽀支援する  
•しかし、紙とペンによる⼿手書きも未だに⼀一般的！
研究は数多く存在する
オフライン⼿手書き


# Page. 5

![Page Image](https://bcdn.docswell.com/page/2VENLLG978.jpg)

  背景（関連研究）
•dePENd  [⼭山岡  2013]  
-‐‑‒
#3
⼿手書きにおける正確な描画を磁⼒力力によって⽀支援


# Page. 6

![Page Image](https://bcdn.docswell.com/page/GY7944W3J3.jpg)

  背景（関連研究）
•⾳音声ペン  [栗栗原  2005]  
-‐‑‒
⾳音声認識識によって関連した予測変換を提⽰示
#4


# Page. 7

![Page Image](https://bcdn.docswell.com/page/5G78QQNLJD.jpg)

  背景（関連研究）
#5
•平均⽂文字は美しい  [中村  2014]
中村，鈴木，小松!
平均文字は美しい，EC2014!
みんなが書いた  
オンライン⼿手書き⽂文字
平均⽂文字


# Page. 8

![Page Image](https://bcdn.docswell.com/page/ML7LXXPQ7R.jpg)

  背景（関連研究）
#5
•平均⽂文字は美しい  [中村  2014]
⼿手書きの1画1画（ストローク）を
中村，鈴木，小松!
数式化することで実現している
平均文字は美しい，EC2014!
みんなが書いた  
オンライン⼿手書き⽂文字
平均⽂文字


# Page. 9

![Page Image](https://bcdn.docswell.com/page/54EMLL2KJW.jpg)

  ⼿手書きストロークの数式化
#6
•フーリエ級数展開によるストロークの数式化
272.08cos(0t)  +  0sin(0t)  +  16.62cos(1t)  +  -‐‑‒0.09sin(1t)  +  29.81cos(2t)  +  -‐‑‒0.32sin(2t)  +  
-‐‑‒2.91cos(3t)  +  0.05sin(3t)  +  -‐‑‒37.67cos(4t)  +  0.8sin(4t)  +  18.93cos(5t)  +  -‐‑‒0.5sin(5t)  +  
3.17cos(6t)  +  -‐‑‒0.1sin(6t)  +  8.71cos(7t)  +  -‐‑‒0.33sin(7t)  +  -‐‑‒0.03cos(8t)  +  0sin(8t)  +  ・・・
!=
229.95cos(0t)  +  0sin(0t)  +  42.82cos(1t)  +  -‐‑‒0.23sin(1t)  +  4.75cos(2t)  +  -‐‑‒0.05sin(2t)  +  
44.24cos(3t)  +  -‐‑‒0.7sin(3t)  +  16.89cos(4t)  +  -‐‑‒0.36sin(4t)  +  -‐‑‒2.51cos(5t)  +  0.07sin(5t)  +  
3.11cos(6t)  +  -‐‑‒0.1sin(6t)  +  0.71cos(7t)  +  -‐‑‒0.03sin(7t)  +  0.6cos(8t)  +  -‐‑‒0.03sin(8t)  +  ・・・
𝑦
𝑥
http://satoken.nkmr.io/2015/Char2Fourier/convert.html


# Page. 10

![Page Image](https://bcdn.docswell.com/page/ZPERKKM6J9.jpg)

  ⼿手書きを応⽤用した研究
平均化による⼿手書きの美化
#7
⼿手書きの上達⽀支援
中村，鈴木，小松!
平均文字は美しい，EC2014!
  [中村  2014]
  [新納  2015]
⼿手書きのアニメーション表現
  [佐藤  2015]
  [久保⽥田  2016]
⼿手書きの認知科学的解明
  [斎藤  2016]


# Page. 11

![Page Image](https://bcdn.docswell.com/page/NP7XLLVD7X.jpg)

  ⼿手書きを応⽤用した研究
平均化による⼿手書きの美化
#7
⼿手書きの上達⽀支援
しかし、これまではオンライン⼊入⼒力力された
⼿手書きに対してしか数式化できなかった
中村，鈴木，小松!
平均文字は美しい，EC2014!
  [中村  2014]
  [新納  2015]
⼿手書きのアニメーション表現
  [久保⽥田  2016]
⼿手書きの認知科学的解明
オフライン⼿手書き⽂文字を数式化することで
⼿手書きをより様々なことに応⽤用！！
  [佐藤  2015]
  [斎藤  2016]


# Page. 12

![Page Image](https://bcdn.docswell.com/page/637KLLQDJD.jpg)

オンラインとオフラインと違い
•オンライン：筆順情報を持っている  
•オフライン：筆順情報を持っていない
#8


# Page. 13

![Page Image](https://bcdn.docswell.com/page/4LJ333PPJ5.jpg)

オンラインとオフラインと違い
•オンライン：筆順情報を持っている  
ストロークの筆順を復復元し  
•オフライン：筆順情報を持っていない
それらを数式化する！！
#8


# Page. 14

![Page Image](https://bcdn.docswell.com/page/V8JD44L37G.jpg)

  本研究の⽬目的
#9
画像から⼿手書き⽂文字を数式化し
様々な応⽤用を！
•今回対象とするのはひらがなに限定  
•応⽤用の1つとして⼤大規模なオフライン⼿手書き⽂文字の
平均化に応⽤用
平均化
？


# Page. 15

![Page Image](https://bcdn.docswell.com/page/4VEPMM2PE8.jpg)

  オフライン数式化⼿手法
1
サンプルデータの構築
2
画像処理理によって中⼼心線抽出
3
始点・終点抽出
4
ストローク抽出
5
ストローク数式化
#10


# Page. 16

![Page Image](https://bcdn.docswell.com/page/L27V99DVJQ.jpg)

  オフライン数式化⼿手法
1
サンプルデータの構築
2
画像処理理によって中⼼心線抽出
3
始点・終点抽出
4
ストローク抽出
5
ストローク数式化
#10


# Page. 17

![Page Image](https://bcdn.docswell.com/page/Z5JGZZY1EL.jpg)

  オフライン数式化⼿手法  1
#11
•サンプルデータの構築
オンライン⼊入⼒力力されたサンプルデータの構築によって
始点・終点やストローク情報をある程度度把握する


# Page. 18

![Page Image](https://bcdn.docswell.com/page/V47QLLMNJP.jpg)

  オフライン数式化⼿手法
1
サンプルデータの構築
2
画像処理理によって中⼼心線抽出
3
始点・終点抽出
4
ストローク抽出
5
ストローク数式化
#12


# Page. 19

![Page Image](https://bcdn.docswell.com/page/DKE4DDV371.jpg)

  オフライン数式化⼿手法  2
#13
•ストロークの中⼼心線を抽出するため画像処理理
オリジナル  
画像
⼤大津の2値化処理理
グレイスケール処理理
細線化  
画像
Zhang  Suenの細線化処理理


# Page. 20

![Page Image](https://bcdn.docswell.com/page/PL71ZZ3ZEG.jpg)

  オフライン数式化⼿手法  2
#13
•ストロークの中⼼心線を抽出するため画像処理理
オリジナル  
画像
⼤大津の2値化処理理
グレイスケール処理理
細線化  
画像
Zhang  Suenの細線化処理理


# Page. 21

![Page Image](https://bcdn.docswell.com/page/8G7W99P672.jpg)

  オフライン数式化⼿手法  2
#13
•ストロークの中⼼心線を抽出するため画像処理理
オリジナル  
画像
⼤大津の2値化処理理
グレイスケール処理理
細線化  
画像
Zhang  Suenの細線化処理理
⼤大津展之:  判別および最⼩小2乗規準に基づく⾃自動しきい値選定法
電⼦子情報通信学会論論⽂文誌,  pp.  349–356,  1980.


# Page. 22

![Page Image](https://bcdn.docswell.com/page/W4JZ99KRJ3.jpg)

  オフライン数式化⼿手法  2
#13
•ストロークの中⼼心線を抽出するため画像処理理
オリジナル  
画像
⼤大津の2値化処理理
グレイスケール処理理
細線化  
画像
Zhang  Suenの細線化処理理
T.  Y.  ZHANG  and  C.  Y.  SUENA.  Fast  Parallel  Algorithm  for  Thinning  Digital  Patterns
Communications  of  the  ACM  CACM  Homepage,  1984.


# Page. 23

![Page Image](https://bcdn.docswell.com/page/KYE6KKQ1EV.jpg)

  オフライン数式化⼿手法
1
サンプルデータの構築
2
画像処理理によって中⼼心線抽出
3
始点・終点抽出
4
ストローク抽出
5
ストローク数式化
#14


# Page. 24

![Page Image](https://bcdn.docswell.com/page/5GE5PPRLE4.jpg)

  オフライン数式化⼿手法  3
•始点・終点の抽出
細線化画像
#15
端点集合
端点
P1
P2
P3
P4
P5
8近傍に点が1つのみの箇所を
端点とし、端点集合を作成
P6


# Page. 25

![Page Image](https://bcdn.docswell.com/page/V97266D3JR.jpg)

  オフライン数式化⼿手法  3
•始点・終点の抽出
端点集合
P1
P2
P3
P4
P5
#16
サンプルデータ
⼤大きさや位置を揃える
P6
サンプルデータと⽐比較するため
⼤大きさと位置を正規化する


# Page. 26

![Page Image](https://bcdn.docswell.com/page/5DJY9928EM.jpg)

  オフライン数式化⼿手法  3
•始点・終点の抽出
P2
P1
P3
P4
P5
P6
順列列
#17
1画⽬目の  
始点：P2  
終点：P3
2画⽬目の  
始点：P1  
終点：P5
3画⽬目の  
始点：P4  
終点：P6
得られた端点とサンプルデータの始点・終点が  
最⼩小距離離になるようなパターンを選出


# Page. 27

![Page Image](https://bcdn.docswell.com/page/2V7NLL89J8.jpg)

  オフライン数式化⼿手法
1
サンプルデータの構築
2
画像処理理によって中⼼心線抽出
3
始点・終点抽出
4
ストローク抽出
5
ストローク数式化
#18


# Page. 28

![Page Image](https://bcdn.docswell.com/page/GYJ944K3E3.jpg)

  オフライン数式化⼿手法  4
•
ストロークの抽出
例例)  3画⽬目：P4  →  P6
P1
P2
P3
P4
P5
P6
始点から終点まで
始点から終点まで
点列列を辿っていく
点列を辿っていく
#19
パ  
タ  
｜  
ン
A
パ  
タ  
｜  
ン
B
分岐が⽣生じた場合は  
分岐が生じた場合は
複数経路路を辿る
複数経路を辿る


# Page. 29

![Page Image](https://bcdn.docswell.com/page/5GJ8QQRLED.jpg)

  オフライン数式化⼿手法  4
#20
•ストロークの抽出
複数の候補ストローク 　
サンプルデータ
候補ストロークの中からサンプルストロークと
もっとも距離離が近いものを選抜


# Page. 30

![Page Image](https://bcdn.docswell.com/page/MLJLXXKQJR.jpg)

  オフライン数式化⼿手法
1
サンプルデータの構築
2
画像処理理によって中⼼心線抽出
3
始点・終点抽出
4
ストローク抽出
5
ストローク数式化
#21


# Page. 31

![Page Image](https://bcdn.docswell.com/page/547MLL8KEW.jpg)

  オフライン数式化⼿手法  5
•ストロークの数式化
得られたストロークを
得られたストロークを
フーリエ級数展開によって数式化
フーリエ級数展開によって数式化
#22


# Page. 32

![Page Image](https://bcdn.docswell.com/page/ZP7RKK56E9.jpg)

  評価実験
#23
本提案⼿手法によってどの程度度の精度度で
正しく数式化が⾏行行えるかを評価する
•評価に関しては我々の主観によって⾏行行う
評価システム


# Page. 33

![Page Image](https://bcdn.docswell.com/page/NPJXLLKDJX.jpg)

  データセット構築
#24
•オフライン⼿手書き⽂文字データセットを構築
=
5(⼈人)
ひらがな46(語)
3(回）
計690
（データ）
⾹香蘭⼥女女学校の中・⾼高⽣生から協⼒力力者を集め
5⼈人を無作為に選定


# Page. 34

![Page Image](https://bcdn.docswell.com/page/63JKLL5DED.jpg)

  データセット構築
#24
•オフライン⼿手書き⽂文字データセットを構築
=
5(⼈人)
ひらがな46(語)
ランダムな順に指定された
⽂文字をプリントに記⼊入
3(回）
計690
（データ）


# Page. 35

![Page Image](https://bcdn.docswell.com/page/4LE333KPE5.jpg)

  データセット構築
#24
•オフライン⼿手書き⽂文字データセットを構築
=
5(⼈人)
ひらがな46(語)
3(回）
ボールペンやえんぴつなどで
3試⾏行行繰り返し書いてもらった
計690
（データ）


# Page. 36

![Page Image](https://bcdn.docswell.com/page/V8ED4433JG.jpg)

  各ひらがなの評価結果
#25
•平均70%の精度度で数式化
をすること可能としていた  
•上⼿手くいっていた例例
•失敗していた例例
のセルは10%以下のもの
のセルは80%以上のもの


# Page. 37

![Page Image](https://bcdn.docswell.com/page/4V7PMM4P78.jpg)

  結果に対する考察  
#26
•特に精度度が悪かった「あ・ぬ・む・め」について  
-‐‑‒
交差点を多く含み、間違った経路路を辿ってしまう  
-‐‑‒
ストローク集合からもっともらしいストロークを
選抜する際に、点列列の距離離だけでなく曲率率率なども
サンプルと⽐比較することによって改善できる？
Curving
候補ストローク
サンプルストローク
t


# Page. 38

![Page Image](https://bcdn.docswell.com/page/L2JV99XVEQ.jpg)

  結果と考察  
#27
•ユーザごとの精度度の違い  
サンプル
•「き」「さ」「そ」「ふ」などの書き⼿手によって
書き⽅方が変わるものについては複数のサンプルを⽤用
意することによって改善


# Page. 39

![Page Image](https://bcdn.docswell.com/page/Z5EGZZV17L.jpg)

#28
  ⼤大規模平均⽂文字をつくってみた
• 精度度が⾼高かった⽂文字について平均⽂文字を⽣生成  
-‐‑‒
⾹香蘭⼥女女学校の中⾼高⽣生の約200⼈人の⽂文字  
-‐‑‒
3試⾏行行分を使⽤用し、総データ数は約600データ！  
-‐‑‒
学年年ごとの平均⽂文字や平均⽂文字の収束性を分析
「う」
「け」
「さ」
「せ」


# Page. 40

![Page Image](https://bcdn.docswell.com/page/V4JQLL6NEP.jpg)

#28
#28
  ⼤大規模平均⽂文字をつくってみた
• 精度度が⾼高かった⽂文字について平均⽂文字を⽣生成  
-‐‑‒
⾹香蘭⼥女女学校の中⾼高⽣生の約200⼈人の⽂文字  
-‐‑‒
3試⾏行行分を使⽤用し、総データ数は約600データ！  
-‐‑‒
学年年ごとの平均⽂文字や平均⽂文字の収束性を分析
「う」
「け」
「さ」
「せ」


# Page. 41

![Page Image](https://bcdn.docswell.com/page/DK74DD43J1.jpg)

  ⼿手書き⽂文字の分析(1)
• 学年年ごとの平均⽂文字の推移
#29
 　 　 　 　 　 　（各学年年  約40⼈人分のデータを使⽤用）
学年年
中1
中2
中3
⾼高1
⾼高2


# Page. 42

![Page Image](https://bcdn.docswell.com/page/PLJ1ZZ4Z7G.jpg)

  ⼿手書き⽂文字の分析(1)
#29
• 学年年ごとの平均⽂文字の推移
 　 　 　 　 　 　（各学年年  約40⼈人分のデータを使⽤用）
学年年中学1年年⽣生は⼩小学⽣生時代の⼿手書き練習に
よって⽂文字を⼤大きく書いてしまっている？
中1
中2
中3
⾼高1
⾼高2
⾼高校⽣生で⼩小さくなるのは試験の解答⽤用紙に
⼩小さく書かなければならないため？


# Page. 43

![Page Image](https://bcdn.docswell.com/page/8GJW99X6J2.jpg)

  ⼿手書き⽂文字の分析(2)
•平均⽂文字の収束性  
-‐‑‒
100⼈人分（無作為に選定）のグループごとの
平均⽂文字の⽐比較
グループAの
 　平均⽂文字
グループBの  
 　平均⽂文字
#30


# Page. 44

![Page Image](https://bcdn.docswell.com/page/W4EZ996RE3.jpg)

  ⼿手書き⽂文字の分析(2)
•平均⽂文字の収束性  
-‐‑‒
100⼈人分（無作為に選定）のグループごとの
平均⽂文字の⽐比較
グループAの
 　平均⽂文字
グループBの  
 　平均⽂文字
#30


# Page. 45

![Page Image](https://bcdn.docswell.com/page/KY76KK217V.jpg)

  ⼿手書き⽂文字の分析(2)
#30
•平均⽂文字の収束性  
-‐‑‒
100⼈人分（無作為に選定）のグループごとの
平均⽂文字の⽐比較
グループAの
 　平均⽂文字
100⼈人もの⼿手書き⽂文字データを集めれば，
その平均⽂文字は収束する！！
グループBの  
 　平均⽂文字


# Page. 46

![Page Image](https://bcdn.docswell.com/page/5G75PP2L74.jpg)

  本研究の応⽤用可能性
平均化による⼿手書きの美化
#31
⼿手書きの上達⽀支援
中村，鈴木，小松!
平均文字は美しい，EC2014!
SCAN
例例）⼿手書きを⾃自動に綺麗麗にしてくれるスキャナ
⼿手書きのアニメーション表現
例例）スマホ撮影によるお⼿手本サンプリング
⼿手書きの認知科学的解明
=
例例）拡張現実による⽂文字アニメーション表現
例例）オンラインで書いても
オフラインで書いても平均⽂文字は⼀一緒？


# Page. 47

![Page Image](https://bcdn.docswell.com/page/V9J26643ER.jpg)

  まとめ
•紙上の⼿手書きの平均化や⼿手書きアニメーションを
#32
実現するため、紙上の⼿手書き⽂文字の数式化⼿手法を提案  
•数式化の精度度は今のところ約70%  
•オフライン⼿手書き⽂文字を平均化に応⽤用  
  [今後の課題]  
•数式化の精度度の向上  
•600⼈人のデータを利利⽤用した平均⽂文字の特徴分析  
•ひらがなだけではなく漢字やイラストに応⽤用