かわいい女の子になりたいんや! UE4の最新機能を使ってVTuberしてみた!【UNREAL FEST EAST 2018】

2.7K Views

October 15, 18

スライド概要

講演動画:https://t.co/mriwEJNdc3

2018年10月14日に行われた「UNREAL FEST EAST 2018」で登壇した際に使用した資料です。
●公式サイト
https://unrealengine.jp/unrealfest/
===
「UE4でVTuberするにはどうすればいいの?」という声をよく聞きます。そこで、UE4と各種デバイスを用いて、個人でも簡単にVTuberになれる方法について解説します。さらに、ただVTuberになるだけでなく、UE4.20における新機能を中心に各機能を活かした表現・フローもお見せできればと思います。(VTuberに限定した内容ではなく、ゲームや映像製作にも役に立つ内容にする予定です。)

profile-image

エピック ゲームズ ジャパン

@EpicGamesJapan

スライド一覧

Unreal Engineを開発・提供しているエピック ゲームズ ジャパンによる公式アカウントです。 勉強会や配信などで行った講演資料を公開しています。 公式サイトはこちら https://www.unrealengine.com/ja/

シェア

埋め込む »CMSなどでJSが使えない場合

各ページのテキスト
1.

かわいい女の子になりたいんや! UE4の最新機能を使ってVTuberしてみた! Epic Games Japan サポートエンジニア 岡田 和也 #ue4fest

2.

自称 UE4エバンジェリスト系VTuber 水瀬ツバキ (@Tsubaki_VTuber) #ue4fest

3.

今日は誰でも簡単に UE4を使ってVTuberになる方法をご紹介! #ue4fest

4.

そもそもVTuberとは? (Wikipediaより) バーチャルYouTuberは、 YouTuberとして動画配信・投稿を行うバーチャルアイドル。 YouTube以外のサービスを利用する際などに YouTubeという特定のサービス名を使用することを避けるため、 単にVTuber、またはバーチャルライバーと呼称することがある #ue4fest

5.

本講演におけるVTuberの定義 VRHMDなどのデバイスを用いて 人間の操作・動き・表情をリアルタイムで反映している バーチャルアイドル のこと #ue4fest

6.

本日のお品書き 1. UE4を使った国内外のVTuber事例 2. 個人がUE4を使ってVTuberになる方法について 3. 個人レベルの限界を目指してみた! #ue4fest

7.

国内におけるUE4を使ったVTuber事例 VTuber専門配信プラットフォーム「REALITY」 • 株式会社Wright Flyer Live Entertainment 社 • ほぼ毎日21:00から生配信! #ue4fest

8.

なぜ「REALITY」はUE4を採用したのか聞いてきました モーションキャプチャとの親和性 • IKINEMA LiveAction, Orion 親会社であるGREE社にてUE4を採用する流れ #ue4fest

9.

なぜ「REALITY」はUE4を採用したのか聞いてきました ノードベースのプログラミング言語Blueprint • 量産時に非エンジニアが実装可能に エディタが日本語化されている ソースコードが公開されている などなど #ue4fest

10.

海外におけるUE4を使ったVTuber事例 • デジタルヒューマン Siren • BEBYLON: BATTLE ROYALE • SIGGRAPH 2018「Real Time Live!」最優秀賞作品 #ue4fest

11.

最近のUE4のアップデート状況 各プロジェクトからのフィードバックを受けて、 モーションキャプチャとの連携が強化! 標準機能と各デバイスが提供している機能だけで 個人でもモーションキャプチャシステムを構築可能! • もちろんデバイスは必要ですが… #ue4fest

12.

本日のお品書き 1. UE4を使った国内外のVTuber事例 2. 個人がUE4を使ってVTuberになる方法について 3. 個人レベルの限界を目指してみた! #ue4fest

13.

個人レベルでVTuberになる場合… 以下の2パターンが主流 • FaceRig + Live2D • VRHMD + モーションコントローラで 3DCGキャラクタの上半身を動かす方式 #ue4fest

14.

サンプルプロジェクトを公開しました! https://github.com/pafuhana1213/VTuberWithUE4 実装の詳細に関しては、そちらをご確認ください! #ue4fest

15.

目次 1. VRHMD、モーションコントローラを用いて 上半身を動かす方法について 2. 表情・指・リップシンク対応について 3. 配信用の画面作りについて 4. 動画出力について #ue4fest

16.

使用するデバイス Oculus Rift + Touch HTC Vive + Viveコントローラ Windows MR (UE4.21でネイティブサポート追加) 使える情報は 頭と両手の位置・向きのみ #ue4fest

17.

#ue4fest

18.

足りない部分のボーンの位置・向きを どう制御するか? IK(Inverse Kinematics, 逆運動学)を使う! #ue4fest

19.

IKについて 対象ジョイントの最終的な位置・向きが先に決まっていて、 それを満たすために各ボーンを制御する手法 FK(Forward Kinematics) IK #ue4fest

20.

基本的な使い方の流れ 1. 頭と手の位置・傾きを キャラクタの動きを制御する Animation BP に渡す 頭 左手 右手 #ue4fest

21.

基本的な使い方の流れ 2. IK制御用のノードを Animation BPの Anim Graph に配置 3. 制御するボーンの名前と どの位置・向きに 制御するかを指定 #ue4fest

22.

IKによる制御の注意点 IKの計算結果によっては 非常に違和感のある動きになる可能性がある • 曲がってはいけない方向に曲がったり… 適した手法を選択した上で 挙動を制御するために制限をかけることが大事 #ue4fest

23.

UE4標準のIK機能 • • • • FABRIK Two Bone IK Spline IK Leg IK • 足の調整に最適化されたIK • Hand IK Retargeting • 体型が違う場合の手の補正機能 公式ドキュメントへのリンク #ue4fest

24.

FABRIKノード (Forward And Backward Reaching Inverse Kinematics) UE4の中だと最も手軽に使えるIK • 制御するボーンの先端・根本と、 どの位置・向きに制御するか指定するだけ! 公式ドキュメント「FABRIK」 http://api.unrealengine.com/JPN/Engine/Animation/ NodeReference/Fabrik/ #ue4fest

25.

付録:FABRIKノード の設定 Effector Transform Space • 指定するTransformの座標系 Tip Bone • 制御対象の 先端 のボーン Root Bone • 制御対象の 根本 のボーン 頭から腰のボーンを制御する場合 #ue4fest

26.

End Effector Tip Bone Root Bone #ue4fest

27.

FABRIKノード のメリット・デメリット メリット • 設定・制御が最も手軽で簡単! • 制御するボーンの数に制限がない! デメリット • 挙動を制御する上での制限が少ないため 曲がってはいけない方向に曲がる可能性がある #ue4fest

28.

Two Bone IKノード 手足の制御に適した簡易的なIK • 2つのボーン( 3つのジョイント )の制御に特化 公式ドキュメント「Two Bone IK」 http://api.unrealengine.com/JPN/Engine/Animation/ NodeReference/SkeletalControls/TwoBoneIK/ #ue4fest

29.

付録:Two Bone IKノードの設定 IKBone • 制御する手足の先端のボーン Effector Location • 先端ボーンをどの位置に制御するか Joint Target Location • 肘・膝の制御ポイントの位置 #ue4fest

30.

Two Bone IKノードのメリット・デメリット メリット • FABRIKではできなかった肘・膝の制御が可能! • FABRIKよりも計算コストが少ない デメリット • 制御できるボーン数が2個のみ #ue4fest

31.

付録:Leg IKノード 足の制御に適したIK • 足の制御に最適化された Two Bone IKとFABRIKのどちらかを使用する形式 公式ドキュメントはまだありませんが 配布されているParagonのアセットが 使用例として参考になります! #ue4fest

32.

付録:Leg IKノードの設定 IKFoot Bone • Effectorとして使用するボーン FKFoot Bone • 制御する足のボーン Num Bone in Limb • 制御するボーン数( 基本は2で問題なし) Enable Knee Twist Correction • 肘のヒネリを入れるか否か #ue4fest

33.

付録:Leg IKノードのメリット・デメリット メリット • 特に調整しなくても、いい感じに足が動く! • ボーンの回転に関する調整が可能 • • Enable Rotation Angle Enable Knee Twist Correction デメリット • 細かい調整はあまりできない • 「内股ぎみに」などの補正をする場合は Two Bone IKを使った方が調整しやすい #ue4fest

34.

付録:Virtual Bone Leg IKはボーンでEffectorを制御する仕組み IK用のボーンが用意されていない場合は Virtual Bone 機能を活用する! エディタ上で スケルトンに仮想ボーンを追加する機能 公式ドキュメント「Virtual Bones」 https://docs.unrealengine.com/en-US/ Engine/Animation/Persona/VirtualBones #ue4fest

35.

#ue4fest

36.

付録:Virtual BoneとTwo Bone IK Two Bone IKも Virtual BoneをEffectorとして 使用することが可能 位置・向きの制御や調整が 値を直接指定するよりも やりやすい #ue4fest

37.

付録:IKを使って 足の位置を地面の高さに合わせるチュートリアル 公式ドキュメント「IK設定」 http://api.unrealengine.com/JPN/Engine/Animation/IKSetu ps/ • Two Bone IKを使った説明ですが、 Leg IKを使う場合も十分に参考になります! #ue4fest

38.

付録:LegIKノードがTwoBoneIK, FABRIKの どちらを使用するかの判断基準 Two Bone IK • 制御するボーンが2 かつ “a.AnimNode.LegIK.EnableTwoBone” が 1なら TwoBoneIK FABRIK • 上記の条件を満たさない場合 • ちなみに、LegIKのEnable Rotation Limit, Min Rotation Angle設定は FABRIKで動作するときのみ有効 #ue4fest

39.

Spline IKノード スプラインを使って複数のボーンを制御するIK • 背骨や鎖などの 複数のボーンで構成されている箇所に使用 • スプラインによる制御をする際 ボーンの階層構造は無視される 公式ドキュメント「Spline IK」 http://api.unrealengine.com/JPN/Engine/Animation/ NodeReference/SkeletalControls/SplineIK/ #ue4fest

40.

付録:Spline IKノードの設定 Start Bone • 制御対象の 根本 のボーン End Bone • 制御対象の 先端 のボーン Roll, Twist Start / End • 各ボーンのヒネリ度合いの調整 頭から腰のボーンを制御する場合 #ue4fest

41.

Spline IKノードのメリット・デメリット メリット • ボーン間の階層関係を意識しなくていいので より直感的にポーズを制御できる • 胴体に頭にかけて 徐々にヒネリ度合いを増やす処理を簡単にできる! デメリット • 動的に各スプラインポイントを制御するのは大変 #ue4fest

42.

今回紹介したIK機能 FABRIK • 2個以上のボーンを制御可能 Two Bone IK • 手足の制御に最適 Spline IK • 階層構造を意識せずに 直感的に制御可能 #ue4fest

43.

腕の制御はどれがオススメ? Two Bone IKがオススメ! • FABRIKに比べて制限があるため、動作が安定している • 肘の位置に関する制御がしやすい! #ue4fest

44.

肘の位置は 女の子らしさ を出す上で重要! 一般的に、肘の位置を内側( = 脇をしめる)にすると 女の子らしさが出ると言われている • 男の場合は外側に #ue4fest

45.

Two Bone IKの調整 肘の制御ポイント(Joint Target Location)を 脇辺りに指定しておくといい感じに! 手を前に持ってきたときに 脇がしまっているか確認! #ue4fest

46.

頭 ~ 腰の制御はどれがオススメ? 頭( head )から 腰 ( spine_01 )を FABRIK で制御するのが最も手軽 かつ 動きが良かった! #ue4fest

47.

他のIK機能との比較 Two Bone IK • 制御可能なボーン数が少ないため、 上半身を大きく使う動きができない Spline IK • 動的に各ポイントを制御するのは大変… #ue4fest

48.

ここまで紹介した機能だけで、ここまでできちゃう! #ue4fest

49.

#ue4fest

50.

せっかくなので 少しの工夫で よりかわいくなりましょう! #ue4fest

51.

少しの ヒネリ で女の子らしさを出そう! #ue4fest

52.

少しの ヒネリ で女の子らしさを出そう! #ue4fest

53.

男性と女性の「見る」の違い 男性: 首しか使わない 女性: 肩を傾けるなど全身を使う 引用元「男舞/女舞 日舞のモーション的解説 https://togetter.com/li/929420 」 #ue4fest

54.

今回試してみたこと 頭の向きに応じて 肩の傾きと上半身のヒネリを調整 ボーンの階層構造を無視する Spline IKノードを使えば調整簡単! #ue4fest

55.

頭の向きによって、肩の傾きと上半身のヒネリを調整 #ue4fest

56.

かわいいは作れる! #ue4fest

57.

ここまでのまとめ UE4には複数のIK機能が用意されている • FABRIK, Two Bone IK,, Spline IK, Leg IK, Hand IK Retargeting 手と腕はTwo Bone IK, 頭から腰はFABRIKがオススメ ちょっとした工夫で女の子らしさがアップするので、 色々試してみましょう! #ue4fest

58.

目次 1. VRHMD、モーションコントローラを用いて 上半身を動かす方法について 2. 表情・指・リップシンク対応について 3. 配信用の画面作りについて 4. 動画出力について #ue4fest

59.

表情・指の制御について モーションコントローラやゲームパッドなどを使って 切り替える手法が一般的 #ue4fest

60.

表情の制御について メッシュに用意された モーフターゲット の値を調整 モデルによっては 目玉の向きをボーンで制御したり テクスチャの変更で表現する場合も #ue4fest

61.

表情(モーフターゲット)の変更方法 Set Morph Target ノード • Actor側から制御する場合 Modify Curve ノード • Animation BP の Anim Graphで制御する場合 • アニメーションエディタ上で 確認・調整しやすいのでオススメ! #ue4fest

62.

付録:アニメーションに表情変化を仕込む アニメーションシーケンス上で モーフターゲットを制御することが可能 Curvesからカーブで制御するか、 固定値(1)を入れるかを編集する方式 #ue4fest

63.

#ue4fest

64.

付録:モーフターゲットの作成・インポート 公式ドキュメント 「FBX モーフターゲットのパイプライン」 http://api.unrealengine.com/JPN/Engine/ Content/FBX/MorphTargets/index.html #ue4fest

65.

指の制御について Pose アセットを使った実装がおすすめ! 単一フレームのアニメーションを アニメーションカーブを使ってブレンド可能 モーフターゲットと 同じ感覚で編集・確認することが可能 #ue4fest

66.

付録:Pose アセットがないとき… 各指の骨のTransformを Animation BPのAnim Graphで制御 BlendSpace アセットで制御 • 複数のアニメーションをブレンド • バリエーションが増えるほど 対応・調整コストが増大 #ue4fest

67.

Pose アセットでブレンド処理を簡単実装! Modify CurveノードでPose アセットが持つカーブを制御 あとは使用するPose アセットを通すだけ 既存のPose アセットに アニメーションの追加可能なので バリエーション対応も楽 #ue4fest

68.

Pose アセットの作り方 アニメーションシーケンスから作成可能 • Current Pose: 現在のフレーム内容からPose アセットに作成 • Current Animation: 各フレーム毎の制御用カーブを持つ Pose アセットを作成 • Insert Pose: 現在のフレーム内容を既存Pose アセットに追加 #ue4fest

69.

Pose Assetに関する公式ドキュメント Animation Pose アセット • http://api.unrealengine.com/JPN/Engine/Animation/AnimPose/ Pose アセットを作成する • http://api.unrealengine.com/JPN/Engine/Animation/AnimHowTo/Creat ePoseAsset/index.html Modify Curve • http://api.unrealengine.com/JPN/Engine/Animation/NodeReference/S keletalControls/ModifyCurve/ #ue4fest

70.

付録:Pose AssetのAdditive設定 デフォルト設定では アニメーションが上書きされるので Additive を有効にしてブレンドされるように! 公式ドキュメント「加算 vs. フルボディ」 http://api.unrealengine.com/JPN/Engine/Animation/ AnimPose/AdditivePA/index.html #ue4fest

71.

付録:アニメーションカーブの管理に注意! Pose Assetを使い始めると メッシュが持つアニメーションカーブが どんどん増える! Anim Graphにてカーブを扱う際に ヒューマンエラーが発生する可能性が高くなる #ue4fest

72.

付録:アニメーションカーブの管理に注意! カーブの命名規則はちゃんとつけましょう! 不要になったアニメーションカーブは削除しましょう! • Pose Assetを削除しても 使用していたカーブは残り続けるので明示的に削除する必要あり #ue4fest

73.

付録:アニメーションカーブの削除方法 #ue4fest

74.

Pose Assetを使うことで、 ブレンド用のアニメーションの管理・確認・調整が楽に! 是非ご活用ください! #ue4fest

75.

目次 1. VRHMD、モーションコントローラを用いて 上半身を動かす方法について 2. 表情・指・リップシンク対応について 3. 配信用の画面作りについて 4. 動画出力について #ue4fest

76.

リップシンク(口パク)をリアルタイムで制御する場合 音声解析を使用する手法 • フォルマントを解析して母音を推定 • マイク以外のデバイス不要 口の動きを画像解析する手法 • カメラなどを使って、顔や口の動きを検出 • 上記の機能をサポートしたデバイスが必要 #ue4fest

77.

簡単にVTuberになれるというコンセプトなので 音声解析の手法について紹介 #ue4fest

78.

UE4で音声からリップシンクを推定するには Oculus LipSync (OVRLipSync) がオススメ! • Oculus社が公開しているリップシンクライブラリ • 先日リリースされた v1.30でUE4に対応 公式サイト https://developer.oculus.com/documentation/ audiosdk/latest/concepts/ book-audio-ovrlipsync-unreal/ #ue4fest

79.

サンプルプロジェクト OVRLipSyncDemo 音声から唇の形状を分類した口形素(Visemes)を解析し、 その結果をモーフターゲットに適用 Viseme Reference https://developer.oculus.com/documentation/ audiosdk/latest/concepts/ audio-ovrlipsync-viseme-reference/ #ue4fest

80.

用意されているコンポーネント OVRLipSync コンポーネント • マイク音声からの解析 サンプル:LiveCaptureBlueprint OVRLipSyncPlayback コンポーネント • Sound Waveアセットからの解析 サンプル:PlaybackBlueprint #ue4fest

81.

#ue4fest

82.

付録:自身のプロジェクトで使うには? Plugins フォルダに以下のフォルダをコピー • "LipSync¥UnrealPlugin¥OVRLipSyncDemo¥Plugins¥OVRLipSync" Config¥DefaultEngine.iniにマイクを有効にする行を追加 • [Voice] bEnabled=True #ue4fest

83.

付録:遅延対策 音声を受け取ってから解析処理が始まるため モデルに反映されるまでに遅延が発生 • 検証環境では マイク入力+解析処理で約100msの遅延 OBSで配信する場合は、 マイクの同期オフセットを 100 に設定するといい感じ #ue4fest

84.

ここまでのまとめ 表情・指はコントローラによる制御、 リップシンクはOVRLipSyncによる解析を使うのが VTuberでは一般的 複数の単一フレームアニメーションを使用する場合は Pose アセットを使えば実装や調整に便利! #ue4fest

85.

目次 1. VRHMD、モーションコントローラを用いて 上半身を動かす方法について 2. 表情・指・リップシンク対応について 3. 配信用の画面作りについて 4. 動画出力について #ue4fest

86.

前提条件 配信で使用するソフトはOBS • VTuberさんの大半が使用している無料の配信用ソフト • 選択したウィンドウなどを取り込んで配信 • クロマキー合成機能がある #ue4fest

87.

前提条件 UE4側で必要なこと • 配信に流したい画面をモニター上に表示 • 抜きたい箇所は緑で塗りつぶす #ue4fest

88.

VRPreview時のPCモニターの画面 VRHMD, モーションコントローラを使うために VRPreviewで実行する必要がある VRHMDに映る画面が PCモニターに表示されてしまう… #ue4fest

89.

3人称視点カメラの映像をモニターに出すためには VR Spectator Screen機能を使う • PSVRにおけるソーシャルスクリーン機能 • 指定したテクスチャをPCモニターで表示可能 VRHMDの画面 モニターの画面 #ue4fest

90.

公式ドキュメント「VR Spectator Screen 機能」 http://api.unrealengine.com/JPN/Platforms/VR/ VRSpectatorScreen/ #ue4fest

91.

モニタに表示するテクスチャの作成方法 Scene Capture Component 2D を使って 3人称視点カメラからの映像からテクスチャを作成可能 #ue4fest

92.

表示するオブジェクトを制限する方法 Scene Capture Component 2Dの Show Only Actorsを使うことで、キャラクタだけを表示可能! #ue4fest

93.

キャラクタ以外を緑で塗りつぶす方法 • 緑色の板をキャラクタの後ろに置く <お手軽!> • ポストプロセスで表示対象か否かを判定 <調整楽!> #ue4fest

94.

#ue4fest

95.

処理負荷に関する注意 VR+SceneCaptureで3回レンダリングすることになるので、 油断するとすぐフレームレート下がります… • 動画の印象に影響するのもありますが、 物理挙動にも影響するので注意する必要があります SceneCapturecomponent2Dには、 描画に関する要素毎にONOFFできる機能があるので活用! #ue4fest

96.

#ue4fest

97.

VR内でも配信画面を確認できるように SceneCaptureComponent2Dを使って 生成・更新したテクスチャを表示するメッシュを配置 • テクスチャを表示するマテリアルを適用した 平面のメッシュを置くだけ! #ue4fest

98.

演者が確認する画面についての注意 左右反転しないと演技が大変になります! • つまり、鏡にしないといけない • テクスチャに渡すUV座標のX座標を反転するか、 平面モデルなら裏向きにすればいい #ue4fest

99.

ここまでのまとめ VR Spectator Screen 機能と Scene Capture Component 2Dを併用することで OBSで配信するための画面を簡単に作れる! #ue4fest

100.

VTuberとして動画配信する準備が ついに整いました! 標準機能とBlueprintしか使ってないので 誰でも簡単にできちゃいます! #ue4fest

101.

目次 1. VRHMD、モーションコントローラを用いて 上半身を動かす方法について 2. 表情・指・リップシンク対応について 3. 配信用の画面作りについて 4. 動画出力について #ue4fest

102.

動画作成もVTuberの重要な活動の一つ! 配信用の画面を そのまま録画する手もあるけど… UE4のシーケンスレコーダー機能や シーケンサーの動画出力機能を活用すれば、 色んなメリットを得られます! #ue4fest

103.

どんなメリットがあるの? よりリッチなグラフィック・表現を追加可能! • UE4の性能をフルに活かせる! 高解像度の動画を作成可能! • 4K + 60fpsの動画も夢じゃない! 連番画像で出力できる! • 動画編集ソフトを使う上で色々と便利! #ue4fest

104.

使うしかないっしょ! #ue4fest

105.

シーケンスレコーダー 録画開始から終了までの キャラクタのアニメーション、パラメータ変更などを 全て記録したカットシーンを作成する機能 #ue4fest

106.

シーケンスレコーダーの良い所 カットシーン製作用のツールである シーケンサーで録画内容をすぐ確認・調整できる! #ue4fest

107.

シーケンスレコーダーの良い所 カメラの角度 変えてみようか! カットシーン製作用のツールである シーケンサーで録画内容をすぐ確認・調整できる! #ue4fest

108.

シーケンスレコーダーの良い所 やっぱり カメラの角度 帽子はいるよね! 変えてみようか! カットシーン製作用のツールである シーケンサーで録画内容をすぐ確認・調整できる! #ue4fest

109.

シーケンスレコーダーの良い所 やっぱり カメラの角度 芸術は爆発だ! 帽子はいるよね! 変えてみようか! カットシーン製作用のツールである シーケンサーで録画内容をすぐ確認・調整できる! #ue4fest

110.

シーケンスレコーダーの良い所 物理やフェイシャルの変化も含めた アニメーションアセットを作成してくれる! アセット化することで用途が広がる! • 例:ライブ配信のVRアーカイブ #ue4fest

111.

シーケンスレコーダーの良い所 シーケンサの機能から 動画・連番画像をすぐ出力できる! #ue4fest

112.

シーケンスレコーダーによる録画の開始/停止 左上にあるRecordボタンを押すか、 録画開始/終了用のコマンドを使う • RecordSequence • StopRecordSequence 公式ドキュメント「シーケンスレコーダー」 http://api.unrealengine.com/JPN/Engine/ Sequencer/Workflow/SequenceRecorder/ #ue4fest

113.

ここまでのまとめ UE4の標準機能だけで、 VTuberとして活動する上で必要な要素・機能を実装可能! キャラクタに魂を入れるための一工夫や 差をつける為のクオリティアップも、 UE4が持つ様々な機能が手助けしてくれる! #ue4fest

114.

サンプルプロジェクトを公開しました! https://github.com/pafuhana1213/VTuberWithUE4 実装の詳細に関しては、そちらをご確認ください! #ue4fest

115.

本日のお品書き 1. UE4を使った国内外のVTuber事例 2. 個人がUE4を使ってVTuberになる方法について 3. 個人レベルの限界を目指してみた! #ue4fest

116.

個人レベルの限界を目指すに至った経緯 思ってたよりも VTuberに必要な要素を簡単に作れてしまった… 講演時間 70分… どうやって時間埋めよう…うーん… #ue4fest

117.

個人レベルの限界を目指すに至った経緯 ちょうど偶然 Vive Trackerを5台ほど持ってるし 行ける所まで行っちゃうか! #ue4fest

118.

2週間後・・・ #ue4fest

119.

#ue4fest

120.

\どうしてこうなった/ #ue4fest

121.

残りの時間で話す内容 1. UE4 と フェイシャル(表情) キャプチャ 2. UE4 と フィンガー(指) キャプチャ 3. UE4 と 全身モーション キャプチャ #ue4fest

122.

iPhoneX Appleが販売している 高性能なフェイシャル(表情)キャプチャを行えるデバイス すまーと…ふぉん…? なにそれおいしいの? #ue4fest

123.

iPhoneXとUE4の連携 iPhoneXで検出した表情データが Wifi経由でエディタに送信される仕組み 追加するノードは1個だけ! #ue4fest

124.

Live Linkについて 外部ソフト・デバイスから送信されたアニメーションデータを エディタ上でリアルタイムに確認できる機能 公式ドキュメント「Live Link Plugin」 https://docs.unrealengine.com/en-us/Engine/ Animation/Live-Link-Plugin #ue4fest

125.

iPhoneXがあれば簡単に試せる! Face AR Sample • Epic Games Launcherより無料でDL可能! 公式ドキュメント https://docs.unrealengine.com/enus/Platforms/ AR/HandheldAR/FaceARSample 以前に書いたブログ記事 http://pafuhana1213.hatenablog.com/ entry/2018/07/27/214314 #ue4fest

126.

ぷち考察 1 「全ての検出情報に対応する必要はない!」 検出情報に対応すればするほど キャラクタの方向性に合わないケースがある • 不気味の谷現象が起きる可能性も 使用する検出情報を 取捨選択することが大事! • ツバキちゃんの場合 口、目(開閉、目線)、眉のみ使用 #ue4fest

127.

ぷち考察 2 「キャラクタに合う形で誇張、補正すべし」 極端な細目はかわいくない! 一定値を超えたら、閉じるように補正するとかわいくなる! #ue4fest

128.

ぷち考察 3 「目と表情の細かい動きによる感情表現」 目や表情の演技が反映されると キャラクタが生きてる感がぐっと上がります! コントローラによる切り替えや 自動制御では難しい 細かな感情表現が可能! #ue4fest

129.

表情による演技・表現の幅がぐっと引き上がります! さらに「コントローラによる表情切り替え」 や 「OVRLipSyncによるリップシンク」 と併用して、互いの弱点を補間! #ue4fest

130.

キャラクタの見た目・方向性と要ご相談 不気味の谷現象の回避 • 得た情報をそのまま使うのではなく、 キャラクタのことを考慮した取捨選択・補正が大事! アニメ寄りの表現の場合は特に注意 • キャプチャ情報は少しの味付けぐらいがいいのかも? • メリハリ効かせたり、フレームレート間引いたりなどが重要 #ue4fest

131.

残りの時間で話す内容 1. UE4 と フェイシャル(表情) キャプチャ 2. UE4 と フィンガー(指) キャプチャ 3. UE4 と 全身モーション キャプチャ #ue4fest

132.

LeapMotion と Hi5 VR Glove Leap Motion • 手と指の動きをトラッキング • 赤外線センサ Hi5 VR Glove • 指の動きをトラッキング • 慣性センサ #ue4fest

133.

もちろん、どちらもUE4に対応済み! Leap motion Hi5 VR Glove (Live Linkに対応して欲しい…) #ue4fest

134.

フィンガートラッキング系のデバイスを使うことで 演者の動きがより反映されるため、 キャラクタの表現の幅がぐっと引き上がる! • プリセットの切り替え・ブレンドでは難しい #ue4fest

135.

フィンガートラッキング系のデバイスを使うことで 手のモーションを簡単に作成可能! • DCCツールを使わずに UE4 x デバイス x 自分の指で作成 Live Linkと アニメーション録画機能を活用! • • アニメーションエディタの録画ボタン シーケンスレコーダー #ue4fest

136.

残りの時間で話す内容 1. UE4 と フェイシャル(表情) キャプチャ 2. UE4 と フィンガー(指) キャプチャ 3. UE4 と 全身モーション キャプチャ #ue4fest

137.

IKinema Orion Vive, Viveコントローラ, Vive Trackerによる 6点 or 8点のトラッキングポイントを用いた モーションキャプチャシステム #ue4fest

138.

足 肘 腰 #ue4fest

139.

じゃーん #ue4fest

140.

IKinema Orion は素晴らしい! かなりの精度で演者の動きを再現! • オッサンっぽい動きも再現するので 女の子の気持ちになって動こう! さらに • 手頃なお値段 • お手軽セットアップ • 広いスペースを必要としない #ue4fest

141.

IKinema OrionとUE4の連携 追加するノードは一つだけ! Live Linkにも対応済み! IKinema 公式ドキュメント https://ikinema.com/index.php? mod=documentation&show=317 #ue4fest

142.

おまけ: UE4のとある機能と併用してみた Composure機能 Virtual Camera機能 キャラクタの影を落とすAR iPhone, iPadが手持ちカメラに! #ue4fest

143.

ここまでのまとめ 個人レベルでも手に入る モーション・フェイシャルキャプチャ用のデバイスを紹介 (ギリギリ) 既存のUE4プロジェクトへの 対応コストはほんの僅か!すぐ試すことができる! UE4には他にも色んな機能があります! それらと組み合わせれば可能性は無限大! #ue4fest

144.

最後のまとめ VTuberをこれから始めてみたいという方へ UE4の標準機能だけで実現可能です! クオリティを追求したい方へ UE4の様々な強力な機能がお助けします! デバイスで色々してみたい方へ 沼へようこそ! 少ない導入コストですぐ試すことができますよ! #ue4fest

145.

本当の本当の最後に ツバキちゃんのモデルは 株式会社Indie-us Games様より アセットをお借りしました マーケットプレイスにて 販売予定ですのでお楽しみに! #ue4fest

146.

質問などありましたら、彼女へどうぞ! ご清聴ありがとうございました! 自称 UE4エバンジェリスト系VTuber 水瀬ツバキ (@Tsubaki_Vtuber) #ue4fest