MetaHumanによるデジタルヒューマンの実現と可能性 | EGC2024 (Ken Kuwano)

6.5K Views

April 30, 24

スライド概要

本資料ではMetaHumanの概要から活用事例、技術的な課題への対策について、基本的な知識を得るために役立つ情報を提示しています。

profile-image

Unreal Engineを開発・提供しているエピック ゲームズ ジャパンによる公式アカウントです。 勉強会や配信などで行った講演資料を公開しています。 公式サイトはこちら https://www.unrealengine.com/ja/

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

Epic Games Conference 2024 MetaHuman による デジタルヒューマンの実現と可能性 Epic Games Japan Software Engineer, Developer Relations Ken Kuwano

2.

デジタルヒューマン ● ● コンピュータで生成された3Dバージョンの人間 仮想世界で実在の人物のように動き、振る舞う

3.

デジタルヒューマンの特徴 ● ● ● ほとんどの人間の顔は完全に左右対称ではない 肌の色素に関しても、鼻の先がわずかに赤い そばかすやシミが散らばっていたりする、など

4.

リアルな3Dキャラクターの作成は とてもコストが高い ↓ MetaHuman を活用!

5.

Agenda ● MetaHuman の概要 ● MetaHuman の活用 ● MetaHuman の技術 ● MetaHuman の将来

6.

MetaHuman の概要

7.

MetaHuman Unreal Engine のプロジェクトであらゆるクリエイターが利用可能な、 完全なリギングが施されたフォトリアリスティックなデジタルヒューマンを作成、 利用できるフレームワーク

8.

MetaHuman の目的 ● クオリティ ○ ○ ● 効率的 ○ ○ ● 特別な設定や手間が不要でそのまま利用できる 広告、映像分野でも利用可能なクオリティ 利用方法や編集が簡単、学習コストも低く導入しやすい 必要なアセットだけをパッケージに組み込める スケーリング ○ ○ モバイルゲームで複数のキャラクターを同時に出せるパフォーマンス モバイルからハイエンドコンソールまで、プラットフォームに縛られない可用性

9.

MetaHuman の想定する立ち位置 Indie content creators Premium content creators クリエイティブ Indie gamesprincipal characters Indie gamessecondary characters/ crowds “just get me a character on the screen” AAA gamesprincipal characters Virtual Production Photoreal content creators Previz Archviz Designviz クオリティ AAA gamessecondary characters AAA Gamescrowds Meta Human

10.

MetaHuman Creator: High-Fidelity Digital Humans Made Easy | Unreal Engine https://www.youtube.com/watch?v=S3F1vZYpH8c&t=1s

11.

MetaHuman の概要 MetaHuman Creator (MHC) ● クラウドストリーミングによるWeb上からデジタルヒューマンの編集がで きる無料のツール ● 髪型、顔、身長、体のプロポーションなどのカスタマイズ ● 自動的なリグの挿入

12.

体系・服・目などのパーツ編集 ブレンドシェイプ テクスチャ編集 LOD

13.

Control Rig ● ● ● エンジン内で直接キャラクターをリギングおよびアニメーションさせるツール 使用することで、外部ツールでリグを作成してアニメーションさせる必要がな くなり、UnrealEditor で直接アニメーションできる MetaHuman を Editor にインポートすると自動的にセットアップ済み

14.

Facial Animation

15.

MetaHuman Animator Now Available https://www.youtube.com/watch?v=WghYEFIoaM8&t

16.

MetaHuman の概要 MetaHuman Animator (MHA) ● ● ● iPhone、ヘッドマウントカメラでのリアルタイムスキャンによるフェイ シャルキャプチャー あらゆるフェイシャル パフォーマンスを非常に忠実なアニメーションとし て MetaHuman キャラクターで再現可能 取得したアニメーションをアセットとして保存可能

17.

MetaHuman で出来ること ● ● ● ● ● ● 顔、服装、髪型、ボディなどを組み合わせてキャラクターを作成 作成したキャラクターを Unreal Engine にインポート 自作したカスタムメッシュを MetaHuman としてインポート Unreal Engine 上でキャラクターのフェイシャルデータをキャプチャー フェイシャルデータからアニメーションデータの作成 プラットフォームや用途に応じたクオリティの自動スケール

18.

システムの概要 Auto Rigging Retopo Character DB Neutral Sculpt MetaHuman Creator Pixel Streaming idFit .json file MetaHuman Cook Commandlet Quixel Bridge Live Link Face .zip file UE assets .dna Head .fbx Anim .fbx MetaHuman Animator Unreal Editor Quixel Bridge Client Anim .fbx Modified Asset source assets

19.

MetaHuman の活用

20.

Blue Dot: A 3Lateral Showcase of MetaHuman Animator https://www.youtube.com/watch?v=bIGnx2jvrbg&t :Unreal Engine

21.

全然、助けてもらえない人 :五分目悟 https://www.youtube.com/watch?v=Ivnji-PJUZw

22.

AI with | Reply | 3D Streaming by Arcware :ARCWARE https://www.youtube.com/watch?v=sDhZTlsHNb0

23.

How a Brain Implant and AI Gave a Woman with Paralysis Her Voice Back https://www.youtube.com/watch?v=iTZ2N-HJbwA&t=90s :UC San Francisco (UCSF)

24.

(4K) SILENT HILL: Ascension | Premiere Trailer (subtitled) | KONAMI https://www.youtube.com/watch?v=O-6Q8EzBJKA :SILENT HILL (Official)

25.

8番出口 (4K) SILENT :KOTAKE HILL: Ascension CREATE | Premiere Trailer (subtitled) | KONAMI https://www.youtube.com/watch?v=O-6Q8EzBJKA https://www.youtube.com/watch?v=03fCgS6eu_8 :SILENT HILL (Official)

26.

MetaHuman の技術

27.

MetaHuman の技術 MetaHuman 利用における技術的な課題 ● 最適化 ● 最適化の基本戦略 ● MetaHuman を利用する上でのパフォーマンスの注意点 ● MetaHuman のアニメーションにおける最適化ポイント

28.

最適化 ● 戦略 ● 適切な品質の MetaHuman を導入 ● スケーラビリティで調節 ● LOD を設定 ● LOD Sync Component

29.

LOD プラットフォーム別での制限 https://dev.epicgames.com/documentation/ja-jp/metahuman/technical-specifications-for-metahuman s/platform-and-lod-specifications

30.

LOD LOD別での制限 https://dev.epicgames.com/documentation/ja-jp/metahuman/technical-specifications-for-metahuman s/platform-and-lod-specifications

31.

最適化 MetaHuman のパフォーマンス ● アニメーション ● ● ● コンポーネント ● ● ● 体や顔などは、AnimBP + PPAnimBP を 更新することでの負荷 靴などは、アセットによって PPAnimBP が設定されているものも 眉毛やひげなどは Groom Component アニメーションに伴う、位置更新処理で の負荷 LOD Sync コンポーネントの Tick

32.

Control Rig で指の計算を無効化 【課題】 ● Control Rig で LOD:0~2 は指のひねりを計算させる、LOD:3 以降では指のひ ねりを計算するコストを抑える 【解決策】 ● LOD レベルに応じて Control Rig を適用するかどうかを調整

33.

Post Process AnimBP の 無効化 【課題】 ● Bodyと Face のメッシュの Post Process AnimBP の処理コスト 【解決策】 ● 各パーツの Post Process AnimBP 処理を無効化、早期段階で無効化

34.

Post Process AnimBP の LOD 【課題】 ● 遠景でも リッチなアニメーションを行うため、絵的に効果的でない状況にお いても Post Process AnimBP の処理コストが発生 【解決策】 ● Skeletal Mesh 用の設定、Post Process AnimBP の LOD の閾値を利用するこ とで 遠景では Post Process AnimBP の処理を無効化

35.

MetaHuman の将来

36.

MetaHuman Timeline MetaHuman Plugin 1.0 2.0 3.0 Experimental Creator Plugin Quixel Bridge Animator LiveLinkFace Improvement 4.0

37.

Next ● ● ● ● ● ● ● Early Access から Production Ready への移行 Hair パフォーマンスの改善 4Dパイプライン オーディオ主導のフェイシャル アニメーション ブレンダブルボディ ポーズ修正/リターゲティング その他の改善 ● ● ● ● MetaHuman Animator MetaHuman Creator (モデルとUX) テクスチャ合成の最適化 Maya 用 MetaHuman (DNA Calib) エディタ など

38.

Q&A 基本的な利用規定はEULAライセンスに従います https://www.unrealengine.com/ja/eula/mhc よくある質問はこちらをご参考ください https://www.unrealengine.com/ja/metahuman

39.

Appendix MetaHuman の習得

40.

Learning Resources 公式ドキュメント https://dev.epicgames.com/documentation/en-us/metahuman/metahuman-documentation

41.

Learning Resources DEV COMMUNITY × METAHUMAN https://dev.epicgames.com/community/metahuman

42.

Learning Resources スライド:https://www.docswell.com/s/EpicGamesJapan/KQ1EY5-UE4_UFE21S_MetaHuman 動画:https://www.youtube.com/watch?v=VBkOXtFzer4

43.

Learning Resources 現実味の高いリアルタイムのグルーム ● MetaHuman Creator の発表ビデオに登場する人 間の髪の毛と、Meerkat サンプル ビデオに登場す る毛皮と羽毛という2つのユースケースを説明 https://cdn2.unrealengine.com/unreal-engine-hair-and-fur-whitepaper-ja-d37d2c63e381.pdf

44.

Learning Resources フェイスリグのランタイム評価 ● ● 高速、軽量、ポータブルなフェイス リグ ソルバ である Rig Logic の技術的詳細を説明 データ読み込みと計算を効率化し、30 fps 以上の 速度でのリアルタイムソリューション作成に成功 https://cdn2.unrealengine.com/rig-logic-whitepaper-v2-ja-152f22cbf759.pdf

45.

Learning Resources Animating MetaHumans with Control Rig in UE https://www.youtube.com/watch?v=2k2gNc_7CT0 Using the MetaHuman Facial Rig in UE https://www.youtube.com/watch?v=GEpH3o44_58 MetaHuman Performance and Scalability Settings https://www.youtube.com/watch?v=bPMEASc1rbo Photoreal Digital Actors from Capture to Final Render: a ‘Blue Dit’ Case Study https://youtu.be/J4gAu1w6Dow?t=540 Using Mesh to MetaHuman in UE https://www.youtube.com/watch?v=xOVyme4TFZw MetaHuman Framework & Machine Learning for Next-Gen Character Deformation https://www.youtube.com/watch?v=OmMi6E0EkQw

46.

Thank you! 2023 Private & Confidential