1.6K Views
January 21, 22
スライド概要
DCC30で発表します
明治大学 総合数理学部 先端メディアサイエンス学科 中村聡史研究室
言語化による模写時の観察支援システムの実現 明治大学 菅野一平 明治大学 中村聡史
概要 デジタルイラスト初心者に向けた研究 目的:システムを用いて模写における観察を促す 手法:画像を分割提示し,その画像の特徴を言語化する 実験:システムを用いた際に観察が促されるか検証 結果 ①ユーザが普段気づかない視点に関して,観察が促された ②システムを用いたことによる練習効果があった
デモ動画
デモ動画
背景 デジタルイラストに 独学で挑戦する初心者がいる しかし一人でイラスト制作することは難しい 特に初心者のうちは • 思い通りに描けない • バランスや色が狂う
背景 イラスト制作において観察は重要 観察を十分に行うことで…… • バランス • 色や光 • 細かい部分 →整合性がとれて思い通りに描ける
問題 初心者は • 観察 • 想像と考察 を十分に行わないので思い通りに描けない そこで 観察を促し,深く考察させる手法が必要
関連研究 Shadow draw (Yong Jae Lee, Larry Zitnick, and Michael Cohen, 2011.)
アプローチ →言葉でアウトプットさせて観察を促す 言葉でアウトプットすることで • 考察する • より意識が向き観察を行う
これまでの研究 個人のイラスト制作における観察に対する支援手法の検討(DCC24) • 観察時に言語化する手法を提案 • 言語化が細かい部分の観察を促すのに有効 →言語隠蔽効果を考慮していなかった 言語化と画像の分割表示による模写時の観察支援手法の検討(EC59) • 言語隠蔽効果を考慮し,画像分割手法を提案 • 画像分割手法により, ①全体に対してまんべんなく観察された ②言語化が具体的になる
画像分割手法 部分的な画像を見せる ↓ イラスト制作者の視点を絞る • 自分では観察しない視点について注意が向く • 深く観察してより詳細に言語化できる 実環境における観察の促進効果は明らかになっていない
本研究の目的 画像分割手法を搭載したシステムにより 観察が促せるか明らかにする この研究では一般的な練習法であり観察が特に重要な 模写を対象に検証を行う 人の顔を観察するためのプロトタイプシステム
プロトタイプシステム
プロトタイプシステム 画像提示部分
プロトタイプシステム 指示文
プロトタイプシステム テキストボックス
プロトタイプシステム ネクストボタン
プロトタイプシステム ズームボタン
言語化の判定 • ユーザが言語化した内容から 観察が不足している点を判定する 例)ユーザの言語化 • 髪が長い • 目が大きい • 鼻が丸い
言語化の判定 • ユーザが言語化した内容から 観察が不足している点を判定する 例)ユーザの言語化 • 髪が長い • 目が大きい • 鼻が丸い →口についての言語化がない
言語化の判定 例)「目」と判定される場合 「目」「眉毛」「瞳」「まつ毛」「まぶた」「眼」 「一重」「二重」 →これらの言葉がある時に「目」のポイントを減算 判定グループ A) 大きさ,位置 B) 目 C) 口 D) 鼻 E) 髪
指示の切り替え ①あらかじめ指示文をデータベースに登録する ②言語化判定によって指示するカテゴリを決定する ③カテゴリの中からランダムに提示する.一度提示した指示は提示 しないようにする 例)口の指示 • 「唇(くちびる)の色を観察してください」 • 「下唇(くちびる)の形を観察してください」 • 「唇(くちびる)に対する光の当たり方を観察してください」
画像の切り替え (左上)大きさ,髪,(右上)目,(左下)口,(右下)鼻
実験 • 模写をする実験 • 情報系学部に所属する大学生13名に対して実施 (教室などで絵を習っていない20~24歳,男性6名, 女性7名) 使用したもの • Clipstudio • Wacom製液晶タブレット • Alienware
実験の内容 • システムなし条件とシステムあり条件を 2日に分けて実施 実験中 • 観察10分+模写60分を行った • 観察中にシステムあり条件ではシステムを用いて 言語化を行う 実験後 • システムなし条件で実験中に気づいていた特徴について記述 • 実験に関するアンケート,システムに関するアンケートを実施
描画対象 女性の正面の顔写真 (PAKUTASO.ペタンと床に座りこむ女性の写真素材. https://www.pakutaso.com/20200421108post-26560.html. 2022/01/20) (PAKUTASO. IT系の会社プロフィール用のよくある写真(女性)の写真素材. https://www.pakutaso.com/20170827242post-12998.html. 2022/01/20)
結果:模写 システムあり システムなし
結果:模写 システムあり システムなし 主観評価,客観評価ともに大きな差はなかった
結果:注視時間 描画時間に対する描画中の注視時間の割合
結果:注視点ヒートマップ 注視点ヒートマップ (全員分,左:システムなし,右:システムあり)
結果:注視点ヒートマップ 注視点ヒートマップ (左:システムなし,右:システムあり)
結果:言語化 • 言語化は具体的,多面的になった 例)具体的な言語化 「目の大きさはおでこの三分の一ぐらい」 「唇の一番下から顎までは右目一個分くらい」 「横の長さは(目より)口のほうが少し長い」 • 「顎の位置を観察してください」 という指示に対して顎の位置だけでなく, 「唇はうすい」 「鼻の穴は下向き」 といった指示と関係ない言語化も見られた
考察:絵 • 絵の評価はあまり大きく変わらなかった • 「違和感がある」とすべての人が回答していた →絵に十分に反映できていない
考察:視線分析 • 注視時間が増えた →観察に対して意識が向いた • 注視点ヒートマップから,一人では普段観察しない視 点に対して観察を促せることが分かった →初心者に対して新たな視点を与えることに有効
考察:言語化 • 言語化が具体的,多面的になった →視点を絞り,より詳細に言語化することができた →言語隠蔽効果を表れにくくした • システムで指示された箇所以外の場所について言語化 が行われた →指示に意識が向き過ぎなかった →視点を絞ることで気づく特徴があった
システムの改善点 • 画像認識を用いることでほかの観察対象に対しても 支援可能(分割方法は要検討) • 描画中にさらに観察に向かせる仕組みが必要 • 形態素解析を用いることで より精度の高い言語化判定ができると考えられる • ズームボタンの拡大率の操作
まとめ デジタルイラスト初心者に向けた研究 目的:システムを用いて模写における観察を促す 手法:画像を分割提示し,その画像の特徴を言語化する 実験:システムを用いた際に観察が促されるか検証 結果 ①ユーザが普段気づかない視点に関して,観察が促された ②システムを用いたことによる練習効果があった 今後 • 他の物体に対して支援手法を検討する • 描画中の支援方法を検討する • 拡大率を実装する