ひとの評価にあった手書き文字の類似度評価手法の提案(HCI181)

5.1K Views

February 08, 19

スライド概要

HCI181で発表した「ひとの評価にあった手書き文字の類似度評価手法の提案」という研究のスライドです。

profile-image

明治大学 総合数理学部 先端メディアサイエンス学科 中村聡史研究室

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

≒ ひとの評価にあった 手書き文字の 類似度評価手法の提案 新納真次郎(明治大学大学院 M2) 中村聡史 鈴木正明 小松孝徳(明治大学) 2018.01.22 HCI181研究会発表

2.

本研究の貢献 l どちらが “似ている” 文字だと思いますか? A B

3.

本研究の貢献 l どちらが “似ている” 文字だと思いますか? A 本研究では このような ひとが思う文字の “似ている” B の定量化を可能にしました!

4.

背景 - 手書き研究の取り組み l 手書きをよりよくするために特性の解明や 支援を行う研究は多くある 例1)手書きの美麗性の評価 [Park 2005][小林 2016] 例2)手書きの美麗化 [Matayoshi 2018]

5.

背景 - 手書き研究の取り組み l 平均文字は綺麗 [中村 2014] ひとの文字を平均化すると綺麗であると評価される いろいろなひとの文字を平均化するとさらに綺麗であ ると評価される 平均 平均文字

6.

これまでの取り組み❶ l 平均図形も綺麗 [Niino 2017] 図形においても平均化すると綺麗であると評価される 平均化してブレを無くせば,非利き手で書いたものも 利き手で書いたものに似ていくことを明らかに!

7.

主観による類似性評価 8人の利き手・非利き手の平均図形の類似性を調査する評価実験

8.

主観評価のコストの問題 l 書き手の人数が20人に増えると…? l ひらがな文字50音において同じことを検証す ると…? l 何回で十分に類似するかを検証すると…? こういったものを全て人手で行うと 非常にコストがかかる!

9.

これまでの取り組み❷ l 定量的な評価による利き手・非利き手の 平均文字の類似性の検証 [佐藤 2017] 点列のユークリッド距離を計算することで類似性を検証 ひらがな50音について調査 Dist = 13.78px

10.

座標の近さ=類似度? l ユークリッド距離だけでは、文字の曲がり 度合いやバランスなどといった要素の類似 度は評価できていなかった

11.

座標の近さ=類似度? l ユークリッド距離だけでは、文字の曲がり 度合いやバランスなどといった要素の類似 度は評価できていなかった

12.

本研究の目的 新たにひとの手書き文字の捉え方を 考慮した類似度評価手法の提案 l いくつか類似に関する特徴量を用意して、 ひとはどの特徴に重みを置いているのかを調査 l これまでの平均手書きに関する分析研究に適用

13.

提案手法 l 主観的な類似度といくつかの指標に基づい た定量的な類似度を照らし合わせて、ひと が感じる文字の類似度を定式化!

14.

提案手法 – 流れ ❶ 主観的な類似度データセットの構築 ❷ 定量的にいくつかの指標の類似度を算出 ❸ ❶と❷を照らし合わせて類似度評価式を導出

15.

提案手法 - 流れ ❶ 主観的な類似度データセットの構築 ❷ 定量的にいくつかの指標の類似度を算出 ❸ ❶と❷を照らし合わせて類似度評価式を導出

16.

提案手法 - ❶類似度データセットの構築 l 似ている文字と似ていない文字を集める 形容詞対 全く 似ていない 似ていない あまり 似ていない 少し 似ている 似ている 非常に 似ている 評価値 −5 −3 −1 +1 +3 +5

17.

提案手法 - ❶類似度データセットの構築 l 比較に使う文字 10名の10回ずつ書いてもらったひらがなデータを使用 ひらがな50音のうち20文字を選定 あるユーザの4回目とあるユーザの5回目の文字を比較 A B A J 4 5

18.

提案手法 - ❶類似度データセットの構築 l 1文字につき18名以上の評価データを収集 -5(低い) 4 A B C D E F G H I J A 3.29 -0.33 2.14 -1.00 -0.05 1.29 -1.76 -0.24 -0.52 -2.62 B 0.33 3.38 1.10 2.71 -0.91 1.76 -2.33 -0.24 -1.10 -2.71 C 1.38 0.14 3.76 0.24 1.19 2.81 -1.19 -0.05 -0.24 -2.71 D -1.57 0.81 -1.76 3.86 -2.33 -1.67 -2.52 -3.10 -1.95 -3.67 5 E 1.00 0.43 0.52 -1.00 2.20 0.52 -2.05 0.43 -0.52 -2.14 F -0.05 1.10 3.10 -0.43 -2.14 3.67 -2.71 -0.91 -0.24 -3.29 G -1.86 -3.00 -1.57 -2.14 -2.14 -2.43 3.38 -1.57 -0.14 -3.19 H -0.14 0.91 0.33 -2.24 -0.81 2.52 -1.95 3.38 -1.19 -2.81 類似度 I 0.05 -2.14 -1.19 -1.29 -2.52 -1.76 -1.29 -1.95 1.29 -2.14 +5(高い) J -3.48 -3.76 -3.67 -3.76 -3.76 -4.05 -3.29 -3.67 -3.76 4.14

19.

提案手法 - 流れ ❶ 主観的な類似度データセットの構築 ❷ 定量的にいくつかの指標の類似度を算出 ❸ ❶と❷を照らし合わせて類似度評価式を導出

20.

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか? 各ストロークの要素: 文字全体の要素:

21.

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか? 各ストロークの要素:ユークリッド距離 文字全体の要素:

22.

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか? 各ストロークの要素:ユークリッド距離・曲がり度合い 文字全体の要素:

23.

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか? 各ストロークの要素:ユークリッド距離・曲がり度合い・ 長さ 文字全体の要素:

24.

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか? 各ストロークの要素:ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素:

25.

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか? 各ストロークの要素:ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素:

26.

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか? 各ストロークの要素:ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素:縦横比 0.8 1.2 1 1

27.

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか? 各ストロークの要素:ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素:縦横比・重心の距離

28.

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか? 各ストロークの要素:ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素:縦横比・重心の距離・バランス

29.

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか? 各ストロークの要素:ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素:縦横比・重心の距離・バランス

30.
[beta]
提案手法 - ❷あらゆる要素の類似度算出 !"#$%& :

ユークリッド距離

!1'/,$&2 :

重心座標の距離

!%#'()"#$%& :

ストロークごとの
ユークリッド距離

!/3"-*& :

縦横比の類似度

!*+',- :

!./0/%*- :

曲率グラフの差

!3&'#4-)/3"-*& :
ストロークごとの
縦横比の類似度

バランスの類似度

!0-%1&5 :

!/'-/ :

ストロークの
面積の類似度

ストロークの
長さの類似度

67
!0-%1&5 = 67 /68

68

31.

提案手法 - 流れ ❶ 主観的な類似度データセットの構築 ❷ 定量的にいくつかの指標の類似度を算出 ❸ ❶と❷を照らし合わせて類似度評価式を導出

32.
[beta]
提案手法 - ❸類似度評価式の導出 l 以下の重回帰分析を行なう

目的変数:人手によって構築された
類似度評価値の平均値
従属変数:定量的に算出された各指標の類似度

l 重み !" ~!$ と切片%にあたる部分を求める
&'(')*+',- &./+0 = 23 ×56/'7, + 29 ×57/+(:6/'7, + 2; ×5.<+=0
+ 2> ×5)07?,@ + 2A ×5*+0* + 2B ×5?+*=',- +
+ 2C ×5*D60., + 2E ×5D,+/F0:*D60., + 2G ×5H*)*7.0 + H

33.
[beta]
類似度評価式の導出結果
l 1画の場合:
!"#"$%&"'( !)*&+ = -. /-0 − 0. 0/2×45*"6' −7. -28×4)9&:+
− ;. ;0<×4$+6='> − ;. <?@×4%&+%
−0. 078×4=&%:"'( − ;. 8?0×4%A5+)'

l 2画以上の場合:
!"#"$%&"'( !)*&+ = -. <0@ − 0. 0?@ ×45*"6'

−0. 0;<×46*&#B5*"6' −/;. ?;<×4)9&:+
−0. 7-/×4$+6='> − 0. ;87×4%&+%
−0. 07<×4=&%:"'( − ;. 2<;×4%A5+)'
−0. ;<<×4A'&*C+B%A5+)' − 0. 7-/×4D%$%6)+

34.
[beta]
評価式の当てはまり具合
l 1画の場合:

決定係数 RC = 0.76

!"#"$%&"'( !)*&+ = -. /-0 − 0. 0/2×45*"6' −7. -28×4)9&:+
− ;. ;0<×4$+6='> − ;. <?@×4%&+%
−0. 078×4=&%:"'( − ;. 8?0×4%A5+)'

l 2画以上の場合: 決定係数 RC = 0.82
!"#"$%&"'( !)*&+ = -. <0@ − 0. 0?@ ×45*"6'

−0. 0;<×46*&#G5*"6' −/;. ?;<×4)9&:+
−0. 7-/×4$+6='> − 0. ;87×4%&+%
−0. 07<×4=&%:"'( − ;. 2<;×4%A5+)'
−0. ;<<×4A'&*H+G%A5+)' − 0. 7-/×4I%$%6)+

35.
[beta]
評価式の当てはまり具合
l 1画の場合:

決定係数 RC = 0.76

!"#"$%&"'( !)*&+ = -. /-0 − 0. 0/2×45*"6' −7. -28×4)9&:+
− ;. ;0<×4$+6='> − ;. <?@×4%&+%
−0. 078×4=&%:"'( − ;. 8?0×4%A5+)'

l 2画以上の場合: 決定係数 RC = 0.82
!"#"$%&"'( !)*&+ = -. <0@ − 0. 0?@ ×45*"6'

−0. 0;<×46*&#G5*"6' −/;. ?;<×4)9&:+
−0. 7-/×4$+6='> − 0. ;87×4%&+%
−0. 07<×4=&%:"'( − ;. 2<;×4%A5+)'
−0. ;<<×4A'&*H+G%A5+)' − 0. 7-/×4I%$%6)+

36.

類似度評価の算出例 A 84% B 37%

37.

手書き特性の再検証 今回の類似度評価手法を用いて以下の 平均手書き文字の特性を再検証 ❶平均文字の収束性 ❷利き手・非利き手平均文字の類似性 l 図形においても適用してみる

38.

❶平均文字の収束性 l 一定数平均を取ればある形に収束するという 仮説を検証 l つまり10回書かれた文字があった場合、 偶数回目に書かれた5回分の文字の平均 =奇数回目に書かれた5回分の文字の平均 になるはず l ユーザごとに偶数平均文字と奇数平均文字の 類似度を比較することで検証

39.

-5 +5

40.

結果:❶平均文字の収束性 l ひらがな全てにおいて、平均99.5%という 高精度で自身の偶数平均文字と奇数平均文字 が一致していた l 一致していなかったものも書き順の違いなど による影響だった l 平均文字は収束することが明らかになり、 5回ほどでも十分に収束することがわかった

41.

❷利き手・非利き手平均文字の類似性 l利き手と非利き手の平均文字は類似す るかを検証 lユーザごとの利き手平均文字と非利き 手平均文字の類似度を比較する

42.

-5 +5

43.

結果:❷利き手・非利き手平均文字の類似性 l ひらがな全てにおいて、平均51.4%という 精度で自身の利き手平均文字と非利き平均 文字が一致していた ランダムに選択した時の一致率:10% l ランダムに選択した際の一致率よりはかなり 高いがそれほどいい精度ではなかった

44.

考察 l 文字における利き手平均と非利き手平均の 一致率が低かったことに対する考察 利き手と非利き手で書く文字はすこし傾きが違う? 今回の手法ではその傾きが考慮できていなかった

45.

-5 +5

46.

-5 +5 12 93.1% 6

47.

今後の課題 l 有用性を示すための精度検証 提案手法による類似度評価が、本当にひとの 評価と一致したものになっているか?の検証 (交差検定などで精度評価の実施予定) ベースライン手法であるユークリッド距離による 評価との比較実験の実施 l精度の向上 傾きなどの他の類似要素の追加 類似度評価データの改善

48.

まとめ 背景 手書き文字を定量的に扱うことで 手書きをよりよくする研究が存在 目的 ひとの手書き文字の捉え方を考慮した類似度 評価手法の提案をし、手書きの特性解明に応用! 提案手法 主観的な類似度といくつかの指標に基づいた 定量的な類似度を照らし合わせて、ひとが感じる 文字の類似度を定式化 手書きの特性 解明への適用 平均文字の収束性や 利き手・非利き手平均文字の類似性を明らかに! 今後の課題 l 類似度評価データセットの改善や傾きなどの他の 指標の追加による精度の向上 l 精度評価実験の実施