MetaHumanサンプル解体新書 【UNREAL FEST EXTREME 2021 SUMMER】

8.5K Views

May 24, 21

スライド概要

講演アーカイブ:https://www.youtube.com/watch?v=VBkOXtFzer4&list=PLr_Cbd4sUDTwkjs-dreE91hRpk28ykqie&index=2

講演内容:
2021年初頭に公開されたMetaHuman Creator。これまで数週間から数か月かかっていた高品質なキャラクターの作成をクラウドベースで1時間以内で行うことができるこちらのサービスはスニークピークに合わせてサンプルキャラクターも同時に公開されました。今回はこちらのサンプルをEpicGamesJapanのエンジニアとTAが解説しつつMetaHumanの魅力に迫っていきたいと思います。

講演者:
斎藤 修(エピック ゲームズ ジャパン Technical Artist, Developer Relations)
岡田 和也(エピック ゲームズ ジャパン Software Engineer, Developer Relations)

UNREAL FEST EXTREME 2021 SUMMER公式サイト配信ページ:
https://unrealengine.jp/unrealfest/timetable/game-epicgames.html
#ue4fest

profile-image

エピック ゲームズ ジャパン

@EpicGamesJapan

スライド一覧

Unreal Engineを開発・提供しているエピック ゲームズ ジャパンによる公式アカウントです。 勉強会や配信などで行った講演資料を公開しています。 公式サイトはこちら https://www.unrealengine.com/ja/

シェア

埋め込む »CMSなどでJSが使えない場合

各ページのテキスト
1.

MetaHumanサンプル解体新書 Epic Games Japan 斎藤 修 Technical Artist Developper Relations 岡田 和也 Software Engineer Developer Relations

2.

自己紹介 斎藤 修 Epic Games Japan Technical Artist Developer Relations ライセンシーサポートしています UE4とHoudiniが好物です https://twitter.com/shiba_zushi 岡田 和也 Epic Games Japan Software Engineer Developer Relations ライセンシーサポートしています UE4と2次元が好物です https://twitter.com/pafuhana1213

3.

アジェンダ Osamu 1. MetaHumanとは? 2. MetaHuman Creator 3. UE4でのMetaHumanの使い方 4. MetaHumanのアセット構成 5. Meta Humans’s Model 解説・Tips Kaz 6. MetaHumanのアニメーション周りにおける注目ポイント 7. Control Rigについて 8. Meta Humanで使われているControl Rigの紹介 9. Meta Humans’s ControlRig Tips

4.

MetaHumanとは?

5.

MetaHumanとは? https://youtu.be/6mAF5dWZXcI

6.

MetaHumanとは? MetaHumanが備える各種機能です

7.

MetaHuman Creator https://youtu.be/OeUBATSJSr0

8.

MetaHuman Creator https://www.unrealengine.com/ja/blog/early-access-to-metahuman-creator-is-now-available

9.

MetaHuman Creator https://www.unrealengine.com/ja/metahuman-creator アーリーアクセスへの申請方法はとても簡単です

10.

MetaHuman Creator https://www.unrealengine.com/ja/metahuman-creator アーリーアクセスへの申請方法はとても簡単です

11.

MetaHuman Creator https://www.unrealengine.com/ja/metahuman-creator 申請が通ったら 起動ボタンを押すだけ! →申請後、承認待たずにすぐ使えるようになりました!

12.

MetaHuman Creator ブラウザ上でMetaHuman Creatorが起動します

13.

MetaHuman Creator 起動画面です ノートPCでもサクサク動きます

14.

MetaHuman Creator https://youtu.be/ys3JivS-iXU

15.

MetaHuman Creator 非常に多彩なモデル調整が可能です

16.

MetaHuman Creator https://docs.metahuman.unrealengine.com/ja/ 詳しい使用方法は是非ドキュメントをご参照下さい

17.

UE4でのMetaHumanの使い方 MetaHumanをUE4に持ってくるには Quixel Bridgeを使用します

18.

UE4でのMetaHumanの使い方 https://quixel.com/bridge Quixel Bridgeは無料でダウンロードできます

19.

UE4でのMetaHumanの使い方 Quixel Bridgeを起動して MetaHumansタブからダウンロード可能です

20.

UE4でのMetaHumanの使い方 50を超えるサンプルも無料でダウンロード可能です

21.

UE4でのMetaHumanの使い方 UE4へのエクスポートも非常に簡単です プラグインを入れて エクスポートボタンを押すだけ!

22.

UE4でのMetaHumanの使い方 UE4インポート時 上記のようなメッセージが出ますが これらはMetaHumanに必要な設定が足りていないというメッセージです とりあえず全て有効化して頂けたら大丈夫です

23.

UE4でのMetaHumanの使い方 https://docs.metahuman.unrealengine.com/ja/MetahumansUnrealEngine/RequirementsAndConfigSettings/ メッセージや各設定の詳細は ぜひドキュメントをご確認頂けましたら

24.

UE4でのMetaHumanの使い方 インポート後はMetaHumanのブループリントをレベル上にすぐ配置可能です シェーダーコンパイルを少し待つ必要があります

25.

UE4でのMetaHumanの使い方 ブループリントは各MetaHumanフォルダ直下にあります

26.

UE4でのMetaHumanの使い方 https://www.unrealengine.com/marketplace/ja/learn/metahumans Quixel Bridgeとかエクスポートとかめんどく……という方は サンプルプロジェクトもありますのでこちらをどうぞ

27.

UE4でのMetaHumanの使い方 また MetaHumanはMAYAにもエクスポート可能です

28.

UE4でのMetaHumanの使い方 https://docs.metahuman.unrealengine.com/ja/HowTos/ExportingMetaHumans/ExportingToMaya/ MAYAへのエクスポート詳細に関しては こちらもぜひドキュメントをご確認頂けましたら

29.

MetaHumanのアセット構成 では UE4におけるMetaHumanのアセット構成をご説明致します

30.

MetaHumanのアセット構成 8K設定でダウンロードした場合 約2GBほどのアセットがダウンロードされます

31.

MetaHumanのアセット構成 MetaHumanブループリントの構成はこのような感じです

32.

MetaHumanのアセット構成 見慣れないコンポーネントがありますね

33.

MetaHumanのアセット構成 こちらは MetaHumanのLODを一括管理するLODSyncコンポーネントです

34.

MetaHumanのアセット構成 MetaHumanにはデフォルトで8段階のLODがあります これらをLODSyncコンポーネントが適切に管理しています

35.

MetaHumanのアセット構成 多数のLODを適切に管理することで 各プラットフォームごとにスケーラビリティ対応することが可能です

36.

MetaHumanのアセット構成 各LODの頂点数や骨数はこんな感じです (モデルごとに若干異なります)

37.

MetaHumanのアセット構成 髪の毛も適切にLOD設定されています

38.

MetaHumanのアセット構成 「Strands」「Card」「Mesh」の3種類がありますね

39.

MetaHumanのアセット構成 髪はそれぞれクォリティに合わせて 描画モデル自体を切り替える事が可能です

40.

MetaHumanのアセット構成 LODの設定はこちらです Groomアセットから設定できます

41.

MetaHumanのアセット構成 https://docs.unrealengine.com/ja/WorkingWithContent/Hair/GroomAssetEditor/index.html 髪のLODに関しては こちらもドキュメントにて詳しく説明されています

42.

MetaHumanのアセット構成 https://docs.metahuman.unrealengine.com/ja/MetahumansUnrealEngine/MetaHumansLODs/ LODSyncコンポーネントの詳細に関しても是非ドキュメントをご参照下さい

43.

Meta Humans’s Model 解説・Tips さて ではMetaHumanの各モデルを見ていきましょう

44.

Meta Humans’s Model 解説・Tips Body周りの構成について

45.

Meta Humans’s Model 解説・Tips Body周りは比較的シンプルで マテリアルもそれぞれ1種ずつとなっております

46.

Meta Humans’s Model 解説・Tips LODも顔が8段階あるのに対して Bodyは4段階になっています

47.

Meta Humans’s Model 解説・Tips マテリアルに関してはLODがなく インストラクションやテクスチャサンプルが 比較的多い点は気をつけておいても良いかもしれません

48.

Meta Humans’s Model 解説・Tips 物理アセットなどもきちんと作成されております

49.

Meta Humans’s Model 解説・Tips 次に 毛について

50.

Meta Humans’s Model 解説・Tips 髪の毛を含め 毛髪類はすべて顔にバインディングされています

51.

Meta Humans’s Model 解説・Tips Hair Eyebrows Fuzz Eyelashes Mustache Beard 毛は6種類あり ヒゲなどがない場合はGroomアセットは作成されません

52.

Meta Humans’s Model 解説・Tips また 毛のLODはそれぞれ自動で作成されますが

53.

Meta Humans’s Model 解説・Tips LOD0 LOD2 LOD4 LOD7 現在いくつかの形状に関しては LOD作成がされないものもありますので ご注意頂けたらと思います

54.

Meta Humans’s Model 解説・Tips 最後に Faceモデルに関して

55.

Meta Humans’s Model 解説・Tips Faceは最も複雑な構成となっております

56.

Meta Humans’s Model 解説・Tips 数多のモーフターゲットがあり

57.

Meta Humans’s Model 解説・Tips マテリアルも多数あります

58.

Meta Humans’s Model 解説・Tips 各エレメントは様々なパーツで分かれています

59.

Meta Humans’s Model 解説・Tips https://docs.unrealengine.com/ja/Resources/Showcases/DigitalHumans/index.html モデル構成の詳細に関しては デジタルヒューマンのドキュメントがご参考頂けます

60.

Meta Humans’s Model 解説・Tips 例えば 眼球のオクルージョンテクニックなどは デジタルヒューマンと同様の手法が使用されております

61.

Meta Humans’s Model 解説・Tips また 重要な肌マテリアル

62.

Meta Humans’s Model 解説・Tips 容赦ない複雑さになっております

63.

Meta Humans’s Model 解説・Tips とはいえ コメントごとに処理は整理されており

64.

Meta Humans’s Model 解説・Tips ベースカラー とはいえ コメントごとに処理は整理されており

65.

Meta Humans’s Model 解説・Tips ベースカラー スペキュラ ラフネス とはいえ コメントごとに処理は整理されており

66.

Meta Humans’s Model 解説・Tips ベースカラー スペキュラ ラフネス ノーマル とはいえ コメントごとに処理は整理されており

67.

Meta Humans’s Model 解説・Tips 肌の赤みやそばかす メイクなど ベースカラー スペキュラ ラフネス ノーマル とはいえ コメントごとに処理は整理されており

68.

Meta Humans’s Model 解説・Tips 肌の赤みやそばかす メイクなど ベースカラー 毛穴 スペキュラ ラフネス ノーマル とはいえ コメントごとに処理は整理されており

69.

Meta Humans’s Model 解説・Tips 肌の赤みやそばかす メイクなど ベースカラー 毛穴 ベイクされた 毛髪類 スペキュラ ラフネス ノーマル とはいえ コメントごとに処理は整理されており

70.

Meta Humans’s Model 解説・Tips 肌の赤みやそばかす メイクなど ベースカラー 毛穴 ベイクされた 毛髪類 スペキュラ ラフネス ノーマル おおまかにはこのような処理になっております

71.

Meta Humans’s Model 解説・Tips また シェーディングモデルにはデジタルヒューマンと同じく Subsurface Profileが使用されております

72.

Meta Humans’s Model 解説・Tips 適切なFeature Level Switchも要所に設定されており

73.

Meta Humans’s Model 解説・Tips ベースカラーとノーマルは フェイシャルアニメーションに合わせて 4枚のテクスチャが顔マップに応じてブレンドされます

74.

Meta Humans’s Model 解説・Tips また その高機能さからインストラクションやテクスチャサンプル数も多いので LOD0のご使用にはお気をつけ下さい

75.

おかずパート はここから

76.

ここからは MetaHumanのアニメーション周りの話

77.

アジェンダ 1. アニメーション周りにおける注目ポイント 2. Control Rigについて 3. MetaHumanで使われている Control Rigの紹介 4. MetaHumans’s ControlRig Tips

78.

アニメーション周りにおける注目ポイント Control Rigを使った アニメーション作成・補正 フェイシャルキャプチャ LiveLinkFace との連携

79.

フェイシャルキャプチャ、めちゃかんたん!

80.

もちろんモーションキャプチャも! Matt さん( @cinedatabase ) Unreal MetaHumans | Perception Neuron

81.

今回メインでお話するのは Control Rigを使った アニメーション作成・補正 について!

82.

今回解説しない部分に関する資料はこちら フェイシャルキャプチャ ● ● ● 公式ドキュメント「iPhone X からフェイシャル アニメーションを記録する」 【UE4】Live Link Face for Unreal Engineを使って、あなたのキャラクタの表情を動 かす方法 【Meta Humans×Live Link】デジタルヒューマンをフェイシャルキャプチャで動かす by イワケンさん @iwaken71 モーションキャプチャ ● ● 公式ドキュメント「MetaHumans」 公式ドキュメント「Live Link プラグイン」

83.

今回解説しない部分に関する資料はこちら 既存のアニメーションをMetaHumanで使う方法 ● 公式ドキュメント「アニメーションを MetaHuman にリターゲティングする」 ● グレイマンのようにMetaHumanを動かす方法 by 広務(Hiromu) さん @hi_rom_ MetaHuman入門 by 鹿野護 さん @zuga ●

84.

Control Rigって何?

85.

説明しよう!Control Rigとは! アニメーションにおいて重要な リグ を UE4上で作成・制御できてしまう機能!しかも、ノードベースで! 【連載】第2回:映像制作における UE4のためのキャラクターデータ構成(リギング編)

86.

アニメーションの作成・編集 UE4上でのアニメーション作成 既存アニメーションの修正・調整 Control Rig Mannequin サンプル Linked Animation Sequenceの解説記事

87.

セカンダリ・プロシージャルアニメーション Control Rig の Sphere Traceを 使ったFoot IKデモ・解説 【UE4ぷちコン#15応募作品】 両手両足をかわるがわる動かすゲーム(解説記事) by 林田 リンデロンさん(@Rinderon)

88.

Control Rigに関する解説資料(日本語 編) ● 猫でも分かる Control Rig UE4.25 版 ● ● UE4.25 -> 4.26 で追加・改善された機能について ● ● ● ● UE4.25から4.26で色々機能が改善・追加されたので ControlRigの基本的な機能・思想の理解用にどうぞ Loop機能, Inversion機能, Control Rigの流用 UE4.25 -> UE4.26 で変わった Control Rig メモ どの機能も必須レベルで重要なので是非確認を! TECH ART ONLINEさんによる解説記事 ● ● https://tech-art.online/category /unreal-engine-4/control-rig/ TA視点からの解説、大変助かります!

89.

Control Rigに関する解説資料(英語 編) ● Using Control Rig in Unreal Engine(日本語字幕付き) ● ● Animating MetaHumans with Control Rig in UE(日本語字幕付き) ● ● MetaHuman用のアニメーションを ControlRigを使って作成・編集する方法について。オススメ! ユニークな振動目玉レンズを自作する(日本語字幕付き) ● ● ● Control Rigの基本的な使い方を実演ベースで。オススメ! Unreal Online Learningに追加されたコース 変なお題ですが、どの説明も役に立つのでオススメ! Animating with Control Rig in 4.26 ● UE4.26で追加された機能を中心に解説・デモ 他の資料を見た後の方が理解しやすいかも (あと、3時間超えです)

90.

MetaHumanで使われている Control Rigの紹介

91.

メインとなるControl Rig ボディ用 MetaHuman_ControlRig フェイシャル用 Face_ControlBoard_CtrlRig

93.

あとはSequencer上で ControlRig用Trackに対してキーを打てば アニメーション作成・編集できます! 具体的な編集方法に関しては 先程紹介した各資料をご確認ください

94.

MetaHumans’s ControlRig Tips

95.

Sequencer に ControlRig 用 Trackが 自動的に追加されるようになったよ!

96.

UE4.26 からの新機能紹介 Skeletal Mesh に Default Animation Rigが追加されました! Skeletal Mesh が Sequencerに追加されると ここで設定したControlRigが 自動的に追加されます

97.

MetaHumanに付属する Editor Utility Widgetがべんり!

98.

MH_CR_Picker

100.

EditorUtilityWidget なので解析・改造可能! Level Sequence を 外部から制御するツールを作る際に参考になるはず! (注: Sequencer Scripting プラグインを有効にすること)

101.

フェイシャル用Control Rigの あの表示(Gizmo)は Static Mesh!

102.

コレのこと→

103.

faceboard_2x

104.

自作StaticMesh を Gizmoとして使う方法 複製したDefault Gizmo Library に登録して ControlRig にそれを登録すれば使用可能に

105.

3D Text を使って 独自Gizmo を作る手も

106.

Control Rig による Twist ボーンの補正処理

107.

まずは効果から 補正処理:OFF 補正処理:ON

108.

まずは効果から 補正処理:OFF 補正処理:ON

109.

Twistボーンを調整して、ねじれを補正・回避 m_med_nrw_proc_CtrlRig

110.

Control Rigによる 衣類の補正処理

111.

補正処理:なし 補正処理:あり

112.

首ボーンの回転量に応じて、各襟ボーンを補正 補助骨 的な制御 f_med_nrw_top_shirt_slm_CtrlRig

113.

いろんな応用ができるはず! スカートの突き抜け防止対策で補正を入れた後に とある物理プラグインを適用してみたテスト お借りしたモデル:『レナ・カクテル-Lena Cocktail-』

114.

Post Process Anim BP で 使ってるのが肝! 通常のAnim BPの後に実行されるAnimBP Skeletal Mesh アセット側で設定 f_med_nrw_top_shirt_slm

115.

BP側で実装・設定されている処理・アセットに 手を入れなくても、衣類・パーツ固有の挙動を実現できる

116.

特定の衣類の物理挙動も m_med_nrw_top_hoodie_Skeleton_AnimBP

117.

・・・ ・・・ ・・・

118.

・・・ ポーズをコピー! ・・・ ・・・ 共通 アニメーション & Anim BP

119.

具体的な解説・実装方法についてはこちら ● 公式ドキュメント「モジュラー キャラクターで作業する」 ● 猫でも分かる UE4のAnimation Blueprintの運用について

120.

Control Rigによる補正以外にもこんな工夫が! アニメーション から 皮膚のマテリアルのパラメータを制御

121.

Control Rigによる補正以外にもこんな工夫が! ボーンの動きに基づいて Pose Asset のブレンド率を調整できる Pose Driver 機能を使うことで、より複雑かつ意図通りの動きを実現 f_med_nrw_animbp

122.

アニメーション パートのまとめ MetaHumanにはアニメーション編集機能だけでなく 細かな補正処理が組み込まれてます また、アニメーション関連の処理・アセットの 流用・量産を考慮した構成になっています MetaHuman自体を使う予定がなくても 非常に参考になるので、 是非色々見て試してください! モーションキャプチャ利用も是非!