メロ字ィ: 手書き練習における お手本と手書きのずれを考慮した メロディ提示手法

615 Views

March 13, 24

スライド概要

profile-image

明治大学 総合数理学部 先端メディアサイエンス学科 中村聡史研究室

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

メロ字ィ: 手書き練習における お手本と手書きのずれを考慮した メロディ提示手法 明治大学 B3 鳩貝怜央 松田さゆり 渡邉健斗 中村 聡史 株式会社ワコム 掛晃幸 1

2.

はじめに 音階を使って文字練習をするシステム「メロ字ィ」の改良 https://melogy.net/ 2

3.

背景 文字練習において,繰り返し書く練習方法が一般的 問題点:退屈になりがち 3

4.

関連研究:音により文字練習の支援 エクスカキバー • 点,直線,曲線にビジュアルサウンド エフェクトを加える [中川ら 2022] 中川久倫, 伊藤弘大, 藤田和之, 岸楓馬, 福島力 也, 伊藤雄一, “エクスカキバー:ビ ジュアル・サ ウンドエフェクトを用いた筆記支援, ”インタラ クション 2022 論 文集, pp.641-644, 2022. i文鎮 • 「トメ」,「ハネ」,「ハライ」に対応した 効果音を再生 [牟田ら 2014] 牟田将史, 石川優, 里井大輝, 星野准一, “i 文鎮: 書くことを楽しくする文 4 鎮, ”情報処理学会研究 報告, pp.1-5, 2014.

5.

これまでの研究「メロ字ィ」 手書き軌跡に応じてメロディが鳴る文字練習システム [松田ら 2023] 音が鳴ると楽しい 練習回数増える メロ字ィのシステム画面 松田 さゆり, 渡邉 健斗, 横山 幸大, 青木 由樹乃, 青木 柊八, 中村 聡史, 掛 晃幸, 石丸 築. メロ字ィ: ペンの位置に応じた音 階の音提示による手書き文字練習システムの提案, 信学技報 ヒューマンコミュニケーション基礎研究会(HCS), 2023. 5

6.

これまでの研究「メロ字ィ」 実験結果 • メロ字ィを使用すると練習回数が多くなることを 明らかにした • 問題点: キャンバス上のどこを書いても音が鳴ってしまう 音を楽しまれ,文字練習から外れる可能性がある 6

7.

目的&アプローチ 目的 楽しく丁寧に文字練習を行ってもらう アプローチ お手本からずれないよう誘導する音提示 7

8.

提案手法 手書きのストロークとお手本との距離が一定以下のときに のみメロディ音が鳴る仕組み 今回の設定 20ピクセル離れると音が鳴らなくなる 8

9.

先行研究: お手本から離れても音が鳴る 9

10.

今回のシステム: お手本から離れると音が鳴らない 10

11.

仮説 手書きストロークがお手本のストロークから一定以上 離れると音が鳴らないようにすると, 先行研究と比べて丁寧になぞろうとする 11

12.

実験 使用する文字「梵字」 日本人にとって馴染みのない文字 16個の梵字 実験協力者36名を3群に分類 音無し群(12名):音提示を行わない 旧メロ字ィ群(12名) :先行研究と同じ 新メロ字ィ群(12名) :本提案手法 12

13.

実験 5分休憩 練習 テスト 練習 いずれかの手法で梵字16文字を5回ずつなぞる 13

14.

実験 テスト • 全群統一で音提示なし • 3回ずつお手本なしで書いてもらう テスト画面 14

15.

結果:なぞる速度(練習) 新メロ字ィ群において文字をなぞる速度が遅くなる * * 1ピクセル書くのにかかった時間(ms) 15

16.

結果:お手本とのユークリッド距離(練習) • 総和は旧メロ字ィ群が長くなっている 手書きの点群 お手本の点群 最短ユークリッド距離 お手本となぞった文字の平均ユークリッド距離 16

17.

結果:無音区間の割合(練習) 該当する文字の割合 お手本から20ピクセルを超えた割合が5%以下では 新メロ字ィ群が最も多い 音が鳴ってない距離の割合 17

18.

結果:書く速度(テスト) 1ピクセル書くのにかかった時間(ms) 18

19.

考察:なぞる速度(練習) 新メロ字ィ群の書く速度が有意に遅くなった • お手本からずれたときに音が鳴らない 音が常に鳴るように注意して書くようになる • 新メロ字ィは手書き練習を丁寧に取り組むことを 誘導する 19

20.

考察:お手本とのユークリッド距離(練習) 平均ユークリッド距離の差が少なかった 直線で差は少ない 曲線に着目する 新メロ字ィ群は音が鳴ってない区間が 5%以下の文字の数が多かった 音が鳴る幅の制約が効果的に機能している 20

21.

考察:書く速度(テスト) • テストにおける書く速度に差は見られなかった 音の制限がなくなった 書く速度が元に戻った • 文字の大きさがバラバラ 綺麗さを分析できなかった 21

22.

今後 • より文字練習に集中させる手法についての検討 • 練習回数を増加させたときの検証 • 小学生や日本語の学習者の漢字練習を対象に検証 22

23.

まとめ • 背景:本来の目的である文字練習から離れてしまう • 目的:より丁寧に練習を行ってもらう • 手法:一定以上お手本から離れると音が鳴らなくなる • 実験:3群に分けて練習したのちテスト • 結果:速度は遅くなったが距離は変わらない • 考察:幅の制約が効果的に機能している • 今後:条件を変えて検証 23