Mojivator: 手書き文字の自動融合により書きたくなる練習支援システム

496 Views

January 11, 17

スライド概要

wiss2016,登壇発表の際に利用したスライド.
ユーザの手書き文字をリアルタイムに融合し平均化して提示するシステム.自身の文字が綺麗になったと感じ,嬉しくなることにより練習したくなるといったことを利用した手書き文字練習の支援システム

profile-image

明治大学 総合数理学部 先端メディアサイエンス学科 中村聡史研究室

シェア

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
2.

ユーザが文字を書いている文字をリアルタイムに融合し提示する

3.

デモ

4.

研究背景 電子機器が普及した現在でも 手紙・履歴書は存在 手書き文字を 書く機会は 多い 手書き文字を 書くことに • ペン字講座 関心がある • 書写技能検定 大人になっても手書きで文字を書く機会は多い 文字に関する検定多数存在

5.

研究背景 筆跡の恒常性 大人になるにつれて,その人自身の字のクセが 身についてしまっている→字形を変えるのは難しい 今までの練習方法 なぞり書き練習,模写練習 疲れる…続かない… 練習のモチベーションを保ちながら 書写技能を向上させるのは容易ではない

6.

提案手法 Moji (文字) + Motivator (意欲・動機付け) 長期的に継続可能な形で ユーザの書写技能を向上させるシステム

7.

提案手法 Moji (文字) + Motivator (意欲・動機付け) 楽にストレスなく字が綺麗になる 練習支援システム

8.

チャレンジタッチ(ベネッセ)

9.

リアルタイムに変換する →自分の文字が綺麗になっていると実感しやすい 人によって好きな文字・字形・練習速度も違う お手本 融合割合 自由に設定可能! ユーザに合わせた文字練習支援システム

10.

書写技能向上サイクル 書く 思い込む & 楽しい お手本文字と 融合させる 綺麗に 自動変換 認識

11.

書写技能向上サイクル 書く 思い込む & 楽しい お手本文字と 融合させる 綺麗に 自動変換 認識 綺麗になった文字を 提示する

12.

書写技能向上サイクル 書く 思い込む & 楽しい 提示された文字を 自分の字と認識 お手本文字と 融合させる 綺麗に 自動変換 認識 綺麗になった文字を 提示する

13.

書写技能向上サイクル 字をうまく書けたので 書きたくなる 書く 思い込む & 嬉しい 提示された文字を 自分の字と認識 お手本文字と 融合させる 綺麗に 自動変換 認識 綺麗になった文字を 提示する

14.

書写技能向上サイクル 字をうまく書けたので 書きたくなる 書く 思い込む & 楽しい 提示された文字を 自分の字と認識 お手本文字と 融合させる 綺麗に 自動変換 認識 綺麗になった文字を 提示する

15.

書写技能向上サイクル 字をうまく書けたので 書きたくなる 書く 思い込む & 楽しい 提示された文字を 自分の字と認識 お手本文字と 融合させる 綺麗に 自動変換 認識 綺麗になった文字を 提示する

16.

書写技能向上サイクル 字をうまく書けたので 書きたくなる 書く 思い込む & 楽しい 提示された文字を 自分の字と認識 お手本文字と 融合させる 綺麗に 自動変換 認識 綺麗になった文字を 提示する

17.

書写技能向上サイクル 字をうまく書けたので 書きたくなる 書く 思い込む & 楽しい 提示された文字を 自分の字と認識 お手本文字と 融合させる 綺麗に 自動変換 認識 綺麗になった文字を 提示する

18.

お手本文字との融合方法 ❶ ストロークの点の座標データを取得 ❷ スプライン補間 (点間の距離を短くする) ❸ フーリエ級数展開により数式化 お手本 ユーザ ❹ お手本とユーザを加重平均化 お手本×α + ユーザ×(1ーα)

19.

お手本文字との融合方法 http://satoken.nkmr.io/2015/Char2Fourier/convert.html

20.

融合割合ごとの変化 お手本×α + ユーザ×(1ーα) ユーザ 0.0 お手本 0.2 0.4 0.6 0.8 お手本に近づいていく! 1.0

21.

システム内容 ①ユーザが書いている時 →ユーザ自身の点列を表示 ②1つのストロークを入力し終わる →融合割合を使って 加重平均化したストロークの提示 ※1つのストロークが決まってからでないと 数式が確定できない

22.

ユーザはいつも通りに文字を書くだけ

23.

を用いた実験 ※投稿後に実施 1. 字形の変化 2. 書くことに対するモチベーション がどのように変化するのかを検証

24.

実験手順(投稿後に実施) 女色文京夢・まねあえおを融合していることを伝えて 30回書いてもらう(大学生12人) 回数(回目) 融合割合(割) 1〜5 0.0 6〜25 0.0 0.25 0.5 26〜30 0.0 書写技能が 向上しているかを見る 1回書き終わるごとに書いた文字列を見直してもらう ユーザに「自分の書いた字が変化した!」と思い込ませるため 書いているうちに雑になるのを防ぐため

25.

実験手順(投稿後に実施) 丸文字 角文字

26.

実験結果(投稿後に実施) 練習前 お手本 練習後 0.0 字形が少しだけ変化 →自身の文字が変化した という感覚はない 0.5 お手本により近づく →自身の書写技能の向上 を実感

27.

実験結果(投稿後に実施) 練習前 お手本 練習後 0.0 0.5 字形が少しだけ変化 →お手本に近づいたとは 言い難い 字形が大きく変化 →自身の書写技能の向上 を実感

28.

実験結果まとめ ユーザにシステムを使って文字練習してもらった 模写に比べて ・学習効率の向上 ・モチベーションの維持 従来よりも効率的に楽しく練習することが可能に!

29.

考察 ユーザに書いた文字が自動変換されていることは 一切伝えないで書いてもらう オープンキャンパス175人にシステムを利用 →自身の文字が綺麗になっていることを実感 →0.4未満なら融合されてることに気づかない

30.

未来ビジョン 手書き教育(なぞり書き・模写)の文字練習の方法を刷新 新たな文字練習教育を確立 ユーザが書いている文字を認識し,本手法をアプリとして導入 未来ノート・電子黒板

31.

Illustvator

32.

まとめ : 長期的に継続可能な形でユーザの書写技能を 向上させる文字練習支援システムの提案 書写技能・モチベーションがどのように変化し向上するか 短期実験により検証した →従来の練習方法(模写)よりも効率的に練習可能に! 今後の課題 長期実験によるモチベーションの持続可能性,字形の永久性の検証 文字学習途中者の留学生や子供などの対象者の拡大