46.5K Views
May 24, 21
スライド概要
講演アーカイブ:https://www.youtube.com/watch?v=VBkOXtFzer4&list=PLr_Cbd4sUDTwkjs-dreE91hRpk28ykqie&index=2
講演内容:
2021年初頭に公開されたMetaHuman Creator。これまで数週間から数か月かかっていた高品質なキャラクターの作成をクラウドベースで1時間以内で行うことができるこちらのサービスはスニークピークに合わせてサンプルキャラクターも同時に公開されました。今回はこちらのサンプルをEpicGamesJapanのエンジニアとTAが解説しつつMetaHumanの魅力に迫っていきたいと思います。
講演者:
斎藤 修(エピック ゲームズ ジャパン Technical Artist, Developer Relations)
岡田 和也(エピック ゲームズ ジャパン Software Engineer, Developer Relations)
UNREAL FEST EXTREME 2021 SUMMER公式サイト配信ページ:
https://unrealengine.jp/unrealfest/timetable/game-epicgames.html
#ue4fest
Unreal Engineを開発・提供しているエピック ゲームズ ジャパンによる公式アカウントです。 勉強会や配信などで行った講演資料を公開しています。 公式サイトはこちら https://www.unrealengine.com/ja/
MetaHumanサンプル解体新書 Epic Games Japan 斎藤 修 Technical Artist Developper Relations 岡田 和也 Software Engineer Developer Relations
自己紹介 斎藤 修 Epic Games Japan Technical Artist Developer Relations ライセンシーサポートしています UE4とHoudiniが好物です https://twitter.com/shiba_zushi 岡田 和也 Epic Games Japan Software Engineer Developer Relations ライセンシーサポートしています UE4と2次元が好物です https://twitter.com/pafuhana1213
アジェンダ Osamu 1. MetaHumanとは? 2. MetaHuman Creator 3. UE4でのMetaHumanの使い方 4. MetaHumanのアセット構成 5. Meta Humans’s Model 解説・Tips Kaz 6. MetaHumanのアニメーション周りにおける注目ポイント 7. Control Rigについて 8. Meta Humanで使われているControl Rigの紹介 9. Meta Humans’s ControlRig Tips
MetaHumanとは?
MetaHumanとは? https://youtu.be/6mAF5dWZXcI
MetaHumanとは? MetaHumanが備える各種機能です
MetaHuman Creator https://youtu.be/OeUBATSJSr0
MetaHuman Creator https://www.unrealengine.com/ja/blog/early-access-to-metahuman-creator-is-now-available
MetaHuman Creator https://www.unrealengine.com/ja/metahuman-creator アーリーアクセスへの申請方法はとても簡単です
MetaHuman Creator https://www.unrealengine.com/ja/metahuman-creator アーリーアクセスへの申請方法はとても簡単です
MetaHuman Creator https://www.unrealengine.com/ja/metahuman-creator 申請が通ったら 起動ボタンを押すだけ! →申請後、承認待たずにすぐ使えるようになりました!
MetaHuman Creator ブラウザ上でMetaHuman Creatorが起動します
MetaHuman Creator 起動画面です ノートPCでもサクサク動きます
MetaHuman Creator https://youtu.be/ys3JivS-iXU
MetaHuman Creator 非常に多彩なモデル調整が可能です
MetaHuman Creator https://docs.metahuman.unrealengine.com/ja/ 詳しい使用方法は是非ドキュメントをご参照下さい
UE4でのMetaHumanの使い方 MetaHumanをUE4に持ってくるには Quixel Bridgeを使用します
UE4でのMetaHumanの使い方 https://quixel.com/bridge Quixel Bridgeは無料でダウンロードできます
UE4でのMetaHumanの使い方 Quixel Bridgeを起動して MetaHumansタブからダウンロード可能です
UE4でのMetaHumanの使い方 50を超えるサンプルも無料でダウンロード可能です
UE4でのMetaHumanの使い方 UE4へのエクスポートも非常に簡単です プラグインを入れて エクスポートボタンを押すだけ!
UE4でのMetaHumanの使い方 UE4インポート時 上記のようなメッセージが出ますが これらはMetaHumanに必要な設定が足りていないというメッセージです とりあえず全て有効化して頂けたら大丈夫です
UE4でのMetaHumanの使い方 https://docs.metahuman.unrealengine.com/ja/MetahumansUnrealEngine/RequirementsAndConfigSettings/ メッセージや各設定の詳細は ぜひドキュメントをご確認頂けましたら
UE4でのMetaHumanの使い方 インポート後はMetaHumanのブループリントをレベル上にすぐ配置可能です シェーダーコンパイルを少し待つ必要があります
UE4でのMetaHumanの使い方 ブループリントは各MetaHumanフォルダ直下にあります
UE4でのMetaHumanの使い方 https://www.unrealengine.com/marketplace/ja/learn/metahumans Quixel Bridgeとかエクスポートとかめんどく……という方は サンプルプロジェクトもありますのでこちらをどうぞ
UE4でのMetaHumanの使い方 また MetaHumanはMAYAにもエクスポート可能です
UE4でのMetaHumanの使い方 https://docs.metahuman.unrealengine.com/ja/HowTos/ExportingMetaHumans/ExportingToMaya/ MAYAへのエクスポート詳細に関しては こちらもぜひドキュメントをご確認頂けましたら
MetaHumanのアセット構成 では UE4におけるMetaHumanのアセット構成をご説明致します
MetaHumanのアセット構成 8K設定でダウンロードした場合 約2GBほどのアセットがダウンロードされます
MetaHumanのアセット構成 MetaHumanブループリントの構成はこのような感じです
MetaHumanのアセット構成 見慣れないコンポーネントがありますね
MetaHumanのアセット構成 こちらは MetaHumanのLODを一括管理するLODSyncコンポーネントです
MetaHumanのアセット構成 MetaHumanにはデフォルトで8段階のLODがあります これらをLODSyncコンポーネントが適切に管理しています
MetaHumanのアセット構成 多数のLODを適切に管理することで 各プラットフォームごとにスケーラビリティ対応することが可能です
MetaHumanのアセット構成 各LODの頂点数や骨数はこんな感じです (モデルごとに若干異なります)
MetaHumanのアセット構成 髪の毛も適切にLOD設定されています
MetaHumanのアセット構成 「Strands」「Card」「Mesh」の3種類がありますね
MetaHumanのアセット構成 髪はそれぞれクォリティに合わせて 描画モデル自体を切り替える事が可能です
MetaHumanのアセット構成 LODの設定はこちらです Groomアセットから設定できます
MetaHumanのアセット構成 https://docs.unrealengine.com/ja/WorkingWithContent/Hair/GroomAssetEditor/index.html 髪のLODに関しては こちらもドキュメントにて詳しく説明されています
MetaHumanのアセット構成 https://docs.metahuman.unrealengine.com/ja/MetahumansUnrealEngine/MetaHumansLODs/ LODSyncコンポーネントの詳細に関しても是非ドキュメントをご参照下さい
Meta Humans’s Model 解説・Tips さて ではMetaHumanの各モデルを見ていきましょう
Meta Humans’s Model 解説・Tips Body周りの構成について
Meta Humans’s Model 解説・Tips Body周りは比較的シンプルで マテリアルもそれぞれ1種ずつとなっております
Meta Humans’s Model 解説・Tips LODも顔が8段階あるのに対して Bodyは4段階になっています
Meta Humans’s Model 解説・Tips マテリアルに関してはLODがなく インストラクションやテクスチャサンプルが 比較的多い点は気をつけておいても良いかもしれません
Meta Humans’s Model 解説・Tips 物理アセットなどもきちんと作成されております
Meta Humans’s Model 解説・Tips 次に 毛について
Meta Humans’s Model 解説・Tips 髪の毛を含め 毛髪類はすべて顔にバインディングされています
Meta Humans’s Model 解説・Tips Hair Eyebrows Fuzz Eyelashes Mustache Beard 毛は6種類あり ヒゲなどがない場合はGroomアセットは作成されません
Meta Humans’s Model 解説・Tips また 毛のLODはそれぞれ自動で作成されますが
Meta Humans’s Model 解説・Tips LOD0 LOD2 LOD4 LOD7 現在いくつかの形状に関しては LOD作成がされないものもありますので ご注意頂けたらと思います
Meta Humans’s Model 解説・Tips 最後に Faceモデルに関して
Meta Humans’s Model 解説・Tips Faceは最も複雑な構成となっております
Meta Humans’s Model 解説・Tips 数多のモーフターゲットがあり
Meta Humans’s Model 解説・Tips マテリアルも多数あります
Meta Humans’s Model 解説・Tips 各エレメントは様々なパーツで分かれています
Meta Humans’s Model 解説・Tips https://docs.unrealengine.com/ja/Resources/Showcases/DigitalHumans/index.html モデル構成の詳細に関しては デジタルヒューマンのドキュメントがご参考頂けます
Meta Humans’s Model 解説・Tips 例えば 眼球のオクルージョンテクニックなどは デジタルヒューマンと同様の手法が使用されております
Meta Humans’s Model 解説・Tips また 重要な肌マテリアル
Meta Humans’s Model 解説・Tips 容赦ない複雑さになっております
Meta Humans’s Model 解説・Tips とはいえ コメントごとに処理は整理されており
Meta Humans’s Model 解説・Tips ベースカラー とはいえ コメントごとに処理は整理されており
Meta Humans’s Model 解説・Tips ベースカラー スペキュラ ラフネス とはいえ コメントごとに処理は整理されており
Meta Humans’s Model 解説・Tips ベースカラー スペキュラ ラフネス ノーマル とはいえ コメントごとに処理は整理されており
Meta Humans’s Model 解説・Tips 肌の赤みやそばかす メイクなど ベースカラー スペキュラ ラフネス ノーマル とはいえ コメントごとに処理は整理されており
Meta Humans’s Model 解説・Tips 肌の赤みやそばかす メイクなど ベースカラー 毛穴 スペキュラ ラフネス ノーマル とはいえ コメントごとに処理は整理されており
Meta Humans’s Model 解説・Tips 肌の赤みやそばかす メイクなど ベースカラー 毛穴 ベイクされた 毛髪類 スペキュラ ラフネス ノーマル とはいえ コメントごとに処理は整理されており
Meta Humans’s Model 解説・Tips 肌の赤みやそばかす メイクなど ベースカラー 毛穴 ベイクされた 毛髪類 スペキュラ ラフネス ノーマル おおまかにはこのような処理になっております
Meta Humans’s Model 解説・Tips また シェーディングモデルにはデジタルヒューマンと同じく Subsurface Profileが使用されております
Meta Humans’s Model 解説・Tips 適切なFeature Level Switchも要所に設定されており
Meta Humans’s Model 解説・Tips ベースカラーとノーマルは フェイシャルアニメーションに合わせて 4枚のテクスチャが顔マップに応じてブレンドされます
Meta Humans’s Model 解説・Tips また その高機能さからインストラクションやテクスチャサンプル数も多いので LOD0のご使用にはお気をつけ下さい
おかずパート はここから
ここからは MetaHumanのアニメーション周りの話
アジェンダ 1. アニメーション周りにおける注目ポイント 2. Control Rigについて 3. MetaHumanで使われている Control Rigの紹介 4. MetaHumans’s ControlRig Tips
アニメーション周りにおける注目ポイント Control Rigを使った アニメーション作成・補正 フェイシャルキャプチャ LiveLinkFace との連携
フェイシャルキャプチャ、めちゃかんたん!
もちろんモーションキャプチャも! Matt さん( @cinedatabase ) Unreal MetaHumans | Perception Neuron
今回メインでお話するのは Control Rigを使った アニメーション作成・補正 について!
今回解説しない部分に関する資料はこちら フェイシャルキャプチャ ● ● ● 公式ドキュメント「iPhone X からフェイシャル アニメーションを記録する」 【UE4】Live Link Face for Unreal Engineを使って、あなたのキャラクタの表情を動 かす方法 【Meta Humans×Live Link】デジタルヒューマンをフェイシャルキャプチャで動かす by イワケンさん @iwaken71 モーションキャプチャ ● ● 公式ドキュメント「MetaHumans」 公式ドキュメント「Live Link プラグイン」
今回解説しない部分に関する資料はこちら 既存のアニメーションをMetaHumanで使う方法 ● 公式ドキュメント「アニメーションを MetaHuman にリターゲティングする」 ● グレイマンのようにMetaHumanを動かす方法 by 広務(Hiromu) さん @hi_rom_ MetaHuman入門 by 鹿野護 さん @zuga ●
Control Rigって何?
説明しよう!Control Rigとは! アニメーションにおいて重要な リグ を UE4上で作成・制御できてしまう機能!しかも、ノードベースで! 【連載】第2回:映像制作における UE4のためのキャラクターデータ構成(リギング編)
アニメーションの作成・編集 UE4上でのアニメーション作成 既存アニメーションの修正・調整 Control Rig Mannequin サンプル Linked Animation Sequenceの解説記事
セカンダリ・プロシージャルアニメーション Control Rig の Sphere Traceを 使ったFoot IKデモ・解説 【UE4ぷちコン#15応募作品】 両手両足をかわるがわる動かすゲーム(解説記事) by 林田 リンデロンさん(@Rinderon)
Control Rigに関する解説資料(日本語 編) ● 猫でも分かる Control Rig UE4.25 版 ● ● UE4.25 -> 4.26 で追加・改善された機能について ● ● ● ● UE4.25から4.26で色々機能が改善・追加されたので ControlRigの基本的な機能・思想の理解用にどうぞ Loop機能, Inversion機能, Control Rigの流用 UE4.25 -> UE4.26 で変わった Control Rig メモ どの機能も必須レベルで重要なので是非確認を! TECH ART ONLINEさんによる解説記事 ● ● https://tech-art.online/category /unreal-engine-4/control-rig/ TA視点からの解説、大変助かります!
Control Rigに関する解説資料(英語 編) ● Using Control Rig in Unreal Engine(日本語字幕付き) ● ● Animating MetaHumans with Control Rig in UE(日本語字幕付き) ● ● MetaHuman用のアニメーションを ControlRigを使って作成・編集する方法について。オススメ! ユニークな振動目玉レンズを自作する(日本語字幕付き) ● ● ● Control Rigの基本的な使い方を実演ベースで。オススメ! Unreal Online Learningに追加されたコース 変なお題ですが、どの説明も役に立つのでオススメ! Animating with Control Rig in 4.26 ● UE4.26で追加された機能を中心に解説・デモ 他の資料を見た後の方が理解しやすいかも (あと、3時間超えです)
MetaHumanで使われている Control Rigの紹介
メインとなるControl Rig ボディ用 MetaHuman_ControlRig フェイシャル用 Face_ControlBoard_CtrlRig
あとはSequencer上で ControlRig用Trackに対してキーを打てば アニメーション作成・編集できます! 具体的な編集方法に関しては 先程紹介した各資料をご確認ください
MetaHumans’s ControlRig Tips
Sequencer に ControlRig 用 Trackが 自動的に追加されるようになったよ!
UE4.26 からの新機能紹介 Skeletal Mesh に Default Animation Rigが追加されました! Skeletal Mesh が Sequencerに追加されると ここで設定したControlRigが 自動的に追加されます
MetaHumanに付属する Editor Utility Widgetがべんり!
MH_CR_Picker
EditorUtilityWidget なので解析・改造可能! Level Sequence を 外部から制御するツールを作る際に参考になるはず! (注: Sequencer Scripting プラグインを有効にすること)
フェイシャル用Control Rigの あの表示(Gizmo)は Static Mesh!
コレのこと→
faceboard_2x
自作StaticMesh を Gizmoとして使う方法 複製したDefault Gizmo Library に登録して ControlRig にそれを登録すれば使用可能に
3D Text を使って 独自Gizmo を作る手も
Control Rig による Twist ボーンの補正処理
まずは効果から 補正処理:OFF 補正処理:ON
まずは効果から 補正処理:OFF 補正処理:ON
Twistボーンを調整して、ねじれを補正・回避 m_med_nrw_proc_CtrlRig
Control Rigによる 衣類の補正処理
補正処理:なし 補正処理:あり
首ボーンの回転量に応じて、各襟ボーンを補正 補助骨 的な制御 f_med_nrw_top_shirt_slm_CtrlRig
いろんな応用ができるはず! スカートの突き抜け防止対策で補正を入れた後に とある物理プラグインを適用してみたテスト お借りしたモデル:『レナ・カクテル-Lena Cocktail-』
Post Process Anim BP で 使ってるのが肝! 通常のAnim BPの後に実行されるAnimBP Skeletal Mesh アセット側で設定 f_med_nrw_top_shirt_slm
BP側で実装・設定されている処理・アセットに 手を入れなくても、衣類・パーツ固有の挙動を実現できる
特定の衣類の物理挙動も m_med_nrw_top_hoodie_Skeleton_AnimBP
・・・ ・・・ ・・・
・・・ ポーズをコピー! ・・・ ・・・ 共通 アニメーション & Anim BP
具体的な解説・実装方法についてはこちら ● 公式ドキュメント「モジュラー キャラクターで作業する」 ● 猫でも分かる UE4のAnimation Blueprintの運用について
Control Rigによる補正以外にもこんな工夫が! アニメーション から 皮膚のマテリアルのパラメータを制御
Control Rigによる補正以外にもこんな工夫が! ボーンの動きに基づいて Pose Asset のブレンド率を調整できる Pose Driver 機能を使うことで、より複雑かつ意図通りの動きを実現 f_med_nrw_animbp
アニメーション パートのまとめ MetaHumanにはアニメーション編集機能だけでなく 細かな補正処理が組み込まれてます また、アニメーション関連の処理・アセットの 流用・量産を考慮した構成になっています MetaHuman自体を使う予定がなくても 非常に参考になるので、 是非色々見て試してください! モーションキャプチャ利用も是非!