電子コミックの表現を豊かにする手書き文字アニメーション生成手法

178 Views

March 29, 22

スライド概要

第30回人工知能学会全国大会論文集 (JSAI2016)で発表した際の資料です.

profile-image

明治大学 総合数理学部 先端メディアサイエンス学科 中村聡史研究室

シェア

埋め込む »CMSなどでJSが使えない場合

各ページのテキスト
1.

電子コミックの表現を豊かにする 手書き文字アニメーション生成手法 佐藤 剣太,中村 聡史,鈴木 正明 (明治大学 総合数理学部)

2.

背景 コミックに書かれている文字は、フォントを変え ることで印象が変化する

3.

背景 セリフやオノマトペの中には、手書きで表現され ているものも

4.

背景 電子書籍の普及 •紙媒体と電子媒体の両方で発売されることもあるが 書籍をスキャンしただけの作品がほとんど •電子媒体においてオノマトペやセリフが変化する 作品はまだ少数

5.

背景 関連研究 •ディジタルコミック制作のための動的な音喩表現生成 システム[松下 11] - コミックのオノマトペに対して手軽 に動きを付与可能 - オノマトペおよびアニメーションの 種類はあらかじめ用意されたカテゴ リから選択

6.

背景 関連研究 •オノマトペン[神原 10] • • ユーザの発声するオノマトペに対応した質感を手書きス トロークに付与 表現可能な質感は一定 https://www.youtube.com/watch?v=sV75QjBrso0

7.

問題点 • 現在の電子書籍において、セリフやコマを動かすと いったディジタル端末ならではの表現を活かしきれ ていないものが多い • 手書き文字に対してアニメーション表現を行う環境 が普及していない 手書き文字に対してアニメーション表現を行うと より豊かなコミックの表現が可能になる?

8.

目的 電子コミック作成時に手書き文字に対して 手軽にアニメーションを付与する手法を提案 • • 手書き文字を数式として表現し、別の数式を付与 評価実験を行い、フォントの文章と提案手法によ る文章で伝えやすくなる印象について検証

9.

提案手法 • 手書き文字を数式へと変換 ➡ • 上の数式と、アニメーションの数式を利用して文 字アニメーションを表現 ➕ ➡

10.

提案手法 フーリエ級数 入力データ X座標 Y座標 = ➡ ➡ 微分 X座標 微分値 = Y座標 微分値 法線ベクトル

11.

提案手法 波形 法線ベクトル ➕ 文字アニメーション ➡

12.

実験 以下の2つの仮説を検証する •コミックを用いると印象に影響する要素が多いと考えたため 、文章のみで実験 手書きで作成した文章は、コンピュータ上の フォントで作成した文章よりも意図を伝えやすい 手書きにアニメーションを付与した文章は、 手書きで作成した文章よりも意図を伝えやすい

13.

文章データセット構築 プルチックの感情の輪の印象を 利用して文章を選定 喜び 悲しみ 信頼 嫌悪感 心配 怒り 驚き 予測

14.

文章データセット構築 文章の作成手法:3通り •PowerPointで作成 •提案システム上での手書き •提案システム上での手書き +アニメーション付与

15.

文章データセット構築 • 協力者:20~22歳の学生 5名 喜び 悲しみ 信頼 嫌悪感 心配 怒り 驚き 予測 8(文章) ✖ ✖ 3(手法) 5(人) =120(種類)

16.

印象評価実験 • 協力者 - • データセット構築を行っていない20~22歳の学生5名 評価システム - データセットからランダムに提示 8つの印象がそれぞれ感じられた度合い 5段階のリッカート尺度

17.

実験結果 喜び・心配・怒りの印象はいずれの手法でも意 図が伝わる傾向あり

18.

実験結果 信頼・嫌悪感・予測の印象はいずれの手法でも 意図が伝わる傾向にない

19.

実験結果 心配・驚き・悲しみ・怒りの印象はフォントより も手書きによって作成したほうが伝わりやすい

20.

実験結果 喜び・心配・悲しみの印象は手書きよりも提案手 法によって作成したほうが伝わりやすい

21.

実験結果 喜び・心配・悲しみの印象はフォントよりも提案 手法によって作成したほうが伝わりやすい

22.

考察 • 信頼・嫌悪感・予測といった印象語はイメージ として捉えるのが困難 • 手書き文字の鋭さ・大きさが印象の強さに影響 • 心配・悲しみは似たパラメータが設定されやすく 互いに間違えて受け取られる傾向あり

23.

使用例 • 電子コミックのコマに書いた文字をアニメーション させることで印象を操作 • 自分で撮影した写真をよりコミカルに • コマやオノマトペに応じたアニメーション自動生成 の可能性

24.

まとめ •電子コミックでの表現を豊かにするために、手書き文 字を数式化し、別の数式を付与することでアニメーシ ョン表現を行う手法を提案 •8つの印象に関する文章データセットを構築し、評価 実験において提案手法の有用性を検証 [今後の課題] - 複数ユーザから得たパラメータの平均値を求めることで 、より適切なアニメーション表現を目指す - より正確な分散値を得るため、評価者の人数を増やす URL: http://satoken.nkmr.io/MojiAnimation/