初心者向け UE4 映像制作での シーケンサー と Movie Render Queue の使い方【UE4 Cinematic Dive Online 2021】

初心者向け UE4 映像制作での シーケンサー と Movie Render Queue の使い方 Epic Games Japan 向井 秀哉

自己紹介 Epic Games Japan Solution Architect 向井 秀哉 ● 映像制作やVR、コンフィギュレーターなどの リアルタイムコンテンツ制作に携わった後に Epic Games Japanに入社 ● 自動車、映像、建築などのノンゲーム分野での Unreal Engineの技術的な説明や提案が主なお仕事 https://twitter.com/syu_ya23

本日の内容 ● UEとプリレンダリングの映像制作ワークフローの比較 ● シーケンサーの概要と使い方 ● ● Movie Render Queueの概要と使い方 ● ● Meerkat デモのシーケンサーは、どうなっているのか？ MRQでよくある質問 各ポジションごとの学習リソース

お話ししない内容 ● UE4の操作などの基本的な使い方 ● Composure(コンポジット) ● ● リアルタイム コンポジットの基本 (オンラインラーニグ) ● Composure によるリアルタイム コンポジット In-Camera VFX(バーチャルプロダクション) ● ドキュメント ● ICVFX Production Test ● Virtual Production Primer

使用する バージョンとサンプル • UE4.27 • Meerkat デモ • 機能別サンプル • Fireworks Particle Effects

https://youtu.be/SB4nnhJv3IU

Unreal Engine と プリレンダリングの映像制作ワークフローの比較

映像制作でのワークフローの一例(フルCG)

映像制作でのワークフローの一例 モデリング

映像制作でのワークフローの一例 ルックデブ

映像制作でのワークフローの一例 アニメーション

映像制作でのワークフローの一例 アニメーション

映像制作でのワークフローの一例 エフェクト

映像制作でのワークフローの一例 レンダリング、ポスプロ

映像制作でのワークフローの一例 プレビズ 参考：Netflix の大ヒット作「Space Sweepers」 は、リアルタイム プレビズ に Unreal Engine を利用

映像制作でのワークフローの一例(フルCG)

シーケンサーの概要と使い方

Sequencer 3D ノンリニア編集ツール ● ● ● ● ● アニメーション カット作成、編集 タイムラインに沿った様々なパラメータの制御 Blueprintイベントの呼び出し SE、BGMの追加、再生 など

シーケンサー エディタ

ツールバー

トラック ツリービュー タイムライン ・ トラックエリア

トラック

トラック ツリービュー タイムライン ・ トラックエリア

再生コントロール シーケンサーエディタのインターフェースについて https://docs.unrealengine.com/4.26/ja/AnimatingObjects/Sequencer/ReferenceEditor/ Take Recorder について https://docs.unrealengine.com/4.26/ja/AnimatingObjects/Sequencer/Workflow/TakeRe corder/UsingTR/

ユースケースごとにシーケンサーの使い方を紹介

シーケンサーを作成してみる

シーケンサーを作成してみる (エディタで説明)

アニメーション(キャラクター) • スケルタルメッシュでアニメーションアセット を使用する • Control Rig を使用する • Alembicを使用する など

アニメーション(キャラクター) • スケルタルメッシュでアニメーションアセット を使用する • Control Rig を使用する • Alembicを使用する など

アニメーション(キャラクター) • スケルタルメッシュでアニメーションアセット を使用する • Control Rig を使用する • Alembicを使用する など

スケルタルメッシュのアニメーションを再生する

スケルタルメッシュのアニメーションを再生する (エディタで説明)

Control Rig ● UE4内でリグの構築が可能 ● Blueprintをベースとしたリギン グシステム ● シーケンサーでアニメーションを 作成・修正ができる ● Rigの流用も可能 Control Rig Mannequin サンプル

Control Rig にアニメーションをつける (エディタで説明)

Alembic Geometry Cash(実験的機能) https://docs.unrealengine.com/4.27/ja/ WorkingWithContent/Importing/AlembicI mporter/ 4.27から Alembic の GeometryCache にグルームをバインドできるように！

Alembic Geometry Cashを使う (エディタで説明)

カット(ショット)とカメラアニメーションの作成

カット(ショット)とカメラアニメーションの作成 (エディタで説明)

再生速度を変化させる(Time Dilation Track)

カット編集(Shot Track) Master ( Level Sequence ) Shot 1( Level Sequence) Shot 2( Level Sequence) Shot 3( Level Sequence) …

カット編集 (エディタで説明)

Subscenes Shot 1 ( Level Sequence ) Subscenes Shot 1 CH_Animation (Level Seq) Shot 1 Lighting (Level Seq) Shot 1 Effect (Level Seq)

パーティクルを制御する(Niagara)

パーティクルを制御する(Niagara) (エディタで説明)

BPのイベントを呼び出す(Event Track)

BPのイベントを呼び出す (エディタで説明)

マテリアルのパラメータを変化させる Material Parameter Collection

Material Parameter Collection (エディタで説明)

レベルに依存せず、シーケンサーでアクターをスポーン Spawnables

Spawnables (エディタで説明)

Spawnables レベルA シーケンサーA アクターA アクターB ↑レベルが所有しているイメージ レベルB レベルBでも シーケンサーAを使う シーケンサーA アクターA アクターBは、存在しない

その他のトラック

Meerkat デモのシーケンサーは、どうなっているのか？

シーケンサーのその他のことについて https://docs.unrealengine.com/4.26/ja/ AnimatingObjects/Sequencer/HowTo/ https://docs.unrealengine.com/4.27/ja /Resources/Showcases/Slay/

Movie Render Queueの概要と使い方

Movie Render Queue • 連番画像出力 • レンダーパス出力 • アンチエイリアシング等の設定 • OCIO • 高解像度レンダリング • レンダリング時のCVarの適用 • UIを別素材で出力 • 設定のプリセット化 #UE4 | @UNREALENGINE

MRQ プラグイン

MRQ (エディタで説明)

Exports: 4.27で出力できるフォーマット • exr(16bit) ・ マルチレイヤー対応 ・ 圧縮：None, PIZ, ZIP • jpg • png • bmp • Apple ProRes (プラグイン) • Final Cut Pro XML • Avid DNx (プラグイン) ・ 最大8K • Command Line Encorder • wav Audio https://docs.unrealengine.com/4.27/ja/AnimatingObjects/Sequencer/Hig hQualityMediaExport/RenderSettings/OutputFormats/

Rendering: 4.27で出力できるレンダーパス • Deferred Rendering(Beauty) • Ambient Occlusion • ObjectID(Cryptomatte) • World Depth(R:Z-Depth, B: Hight-Depth) • Path Tracer • World Normal • Detail Lighting • Motion Vectors(R,G = X, Y) • Lighting Only • World Position • Unlit • Stencil Layer • Reflections Only • UI(UMGを別素材として出力可能) https://docs.unrealengine.com/4.26/ja/AnimatingObjects/Sequencer/Work flow/RenderAndExport/HighQualityMediaExport/RenderPasses/

Rendering: 4.27で出力できるレンダーパス • Deferred Rendering(Beauty) • ObjectID(Cryptomatte) • Path Tracer • Detail Lighting • Lighting Only • Unlit • Reflections Only • UI(UMGを別素材として出力可能)

Rendering: 4.27で出力できるレンダーパス • Ambient Occlusion • World Depth(R:Z-Depth, B: Hight-Depth) • World Normal • Motion Vectors(R,G = X, Y) • World Position • Stencil Layer

Rendering: 4.27で出力できるレンダーパス • Deferred Rendering(Beauty) • Ambient Occlusion • ObjectID(Cryptomatte) • World Depth(R:Z-Depth, B: Hight-Depth) • Path Tracer • World Normal • Detail Lighting • Motion Vectors(R,G = X, Y) • Lighting Only • World Position • Unlit • Stencil Layer • Reflections Only • UI(UMGを別素材として出力可能)

Rendering: Object Ids(Cryptomatte)

Cryptomatte の ID Type ● ● ● ● ● ● Full: マテリアル名ごとにもアクタ名ごとにも分ける Material: マテリアル名ごとに分ける Actor: アクタ名ごとにわける Actor with Hierarchy: 別のフォルダに同じ名前のアクタがある場合は、それらを マージしない Folder: World Outlinerのフォルダごとに分ける Layer: レイヤーごとに分ける

Actor と Actor with Hierarchy の違い Actor Actor with Hierarchy

ID Type: Folder

ID Type: Layer

Rendering: World Depth 必要なレンジにノーマライズ R: Z-Depth B: Hight-Depth

Rendering: Motion Vector https://docs.unrealengine.com/4.26/ja/AnimatingObjects/Sequencer/ Workflow/RenderAndExport/HighQualityMediaExport/RenderPasses/

Path Tracer (Beta) ● Hair、Eye、Single Layer Water以外のシェーディング モデルをサポート ● 全てのブレンドモードと屈折をサポート ● エリアライトやIESプロファイルなど、ほとんどのライトのパラメー タをサポート ● デノイザー プラグイン ● Movie Render Queueのサポート

Path Tracer の使用方法 Ray Tracingが使用可能な環境で、有効になっている必要があります https://docs.unrealengine.com/4.27/ja/RenderingAndGraphics/RayTracing/PathTracer/

Settings: 様々な機能や設定 https://docs.unrealengine.com/4.26/ja/AnimatingObjects/Sequencer/ Workflow/RenderAndExport/HighQualityMediaExport/Reference/

Settings: Anti-Aliasing • アンチエイリアシング • レイトレーシングのノイズ削減 • モーションブラー(Temporal Sample Count) • シミュレーション、パーティクルが 落ち着いてからの書き出し(Warm Up) Temporal Sample • 時間的なサンプリング • 1フレームをサンプル数分、サブフレームに分割し てレンダリングする • サブフレーム間もオブジェクトなどは動いているの で高品質なモーションブラーが得られる Spatial Sample • 空間的なサンプリング • サブフレームで分割されず、Temporal Sampleのようなブラーは得られない • パス出力するときなどブラーが邪魔になるときは、 こちらが良い 1フレーム毎にサンプル数分、レンダリング枚数が増えるのに等しいので その分レンダリング時間が長くなるので注意してください。目安は”8~32”

Settings: Anti-Aliasing • アンチエイリアシング • レイトレーシングのノイズ削減 • モーションブラー(Temporal Sample Count) • シミュレーション、パーティクルが 落ち着いてからの書き出し(Warm Up) Temporal Sample • 時間的なサンプリング • 1フレームをサンプル数分、サブフレームに分割し てレンダリングする • サブフレーム間もオブジェクトなどは動いているの で高品質なモーションブラーが得られる Spatial Sample • 空間的なサンプリング • サブフレームで分割されず、Temporal Sampleのようなブラーは得られない • パス出力するときなどブラーが邪魔になるときは、 こちらが良い 1フレーム毎にサンプル数分、レンダリング枚数が増えるのに等しいので その分レンダリング時間が長くなるので注意してください。目安は”8~32”

Settings: Color Output • Open Color IOの設定が可能 • トーンカーブを無効にして リニアで出力することも可能 https://docs.unrealengine.com/4.26/ja/Working WithMedia/OpenColorIO/

Settings: High Resolution(高解像度レンダリング) 8K、16Kそれ以上といった高解 像度のレンダリングが可能 現状、下記の機能は非対応 • Auto-Exposure • スクリーンスペース系のエフェクト • SSR • Bloom • Lens Flares など • TAA(Temporal Anti-Aliasing) • デフォルトで有効になっているAA • 先ほどのTemporal Sampleとは別

Settings: Console Variables レンダリング時のみに適用する CVarを設定することが可能 例えば… レイトレーシングのバウンス回数やサンプル 数など上げると重くなってしまう設定を作業 中は下げておき、最終レンダリング時のみ、 それらの設定を上げるといった使い方が可 能

Console Variables and Commands(CVar) 何ができるの？ • コマンドでUE4(プロジェクト)の設定変更ができる • デバッグ機能などもある • GUIにない様々な設定がある アーティストでも使えた方がクオリティの向上に繋がります！ 使い方 • Output log の下の入力欄にコマンドを入力してEnter • Output logがない場合 • Window→Developer Tools→Output log • 「Cmd▼」を押すとPyhtonに切り替えることも可能

Console Variables and Commands(CVar) 3つのヘルプ • Help→Console Variables • 「* ?」で説明表示 • Ex) r.Tonemapper.Sharpen ? • https://digilander.libero.it/ZioYuri78/ • 更新されていないので、記載のないコマンドも有り  コマンドに値をつけないで入力することで 現在の値が表示される

Console Variables and Commands(CVar) Default Engine.ini Output logで入力したコマンドはエディタを閉じるとデフォ ルト値に戻ってしまう ↓ [Unreal Project]/Config/DefaultEngine.ini にコマンドを記載することで、その設定をデフォルトにできる ※記述方法が違うので注意 Output log: r.Reflections.Denoiser 0 DefaultEngine.ini: r.Reflections.Denoiser=0

Settings: Console Variables レンダリング時のみに適用する CVarを設定することが可能 例えば… レイトレーシングのバウンス回数やサンプル 数など上げると重くなってしまう設定を作業 中は下げておき、最終レンダリング時のみ、 それらの設定を上げるといった使い方が可 能 https://docs.unrealengine.com/4.27/ja/RenderingAndG raphics/RayTracing/MovieRenderQueue/

Settings: Burn In UI(UMG)を重ねて、レンダリングできる機能

Settings: Burn In

Settings: Game Overrides • Game Modeの変更 • 品質などの変更

Settings: Output • 書き出すディレクトリの設定 • ファイル名の変更 ・ カスタム トークンを使用し カスタマイズ可能 ・ {level_name}：レベル名 など • 解像度の指定 • フレームレートの変更 ・デフォルトは、シーケンサーの設定 • レンダリングするフレームの指定 • など https://docs.unrealengine.com/4.27/ja/AnimatingObjects/Sequ encer/HighQualityMediaExport/RenderSettings/Reference/

MRQについて、よくある質問 • シーケンサーでカメラを設定したけど、レンダリングでそのカメラが使われない • 最初のフレームが別の画像が重なったような変な画像になる • Temporal Sample Countの数値を上げたときに 「Too many temporal samples…」というエラーがでる • レンダリング中にGPUがクラッシュする

シーケンサーでカメラを設定したけど、レンダリングでそのカメラが使われない カメラカットトラックがあり、カメラがバインドされているか確認してみる

最初のフレームが別の画像が重なったような変な画像になる カメラカットトラックをマイナスフレームの方向にも伸ばしてみる

「Too many temporal samples…」というエラーがでる Post Process Volume のMotion Blur の Amount の値を上げてみる

レンダリング中にGPUがクラッシュする 1.タイムアウトの検出と復旧 (TDR) 時間を変更 2. GPU のタイムアウトを無効化 https://docs.unrealengine.com/4.27/ja/RenderingAndGraphics/RayTracing/MovieRenderQueue/

MRQについての情報 • MRQの概要 • 出力フォーマット(エクスポート)について • MRQの総合的な使い方 • Settings について • MRQのUIやプリセット、全体的な説明 • レンダーパスについて • 静止画のレンダリングについて https://docs.unrealengine.com/4.27/ja/AnimatingObjec ts/Sequencer/HighQualityMediaExport/ https://docs.unrealengine.com/4.27/ja/RenderingAndG raphics/RayTracing/MovieRenderQueue/ https://docs.unrealengine.com/4.27/ja/AnimatingObjec ts/Sequencer/HighQualityMediaExport/RenderSettings/ https://docs.unrealengine.com/4.27/ja/AnimatingObjec ts/Sequencer/HighQualityMediaExport/StillImage/ https://docs.unrealengine.com/4.27/ja/AnimatingObjec ts/Sequencer/HighQualityMediaExport/RenderSettings/ OutputFormats/ https://docs.unrealengine.com/4.27/ja/AnimatingObjec ts/Sequencer/HighQualityMediaExport/RenderSettings/ Reference/ https://docs.unrealengine.com/4.27/ja/AnimatingObjec ts/Sequencer/HighQualityMediaExport/RenderSettings/ Reference/

本日の内容 ● UEとプリレンダリングの映像制作ワークフローの比較 ● シーケンサーの概要と使い方 ● ● Movie Render Queueの概要と使い方 ● ● Meerkat デモのシーケンサーは、どうなっているのか？ MRQでよくある質問 各ポジションごとの学習リソース

全職種共通 アンリアルクエスト クエスト • マテリアル キックスタート https://youtube.com/playlist?list=PLr_Cbd4sUDTwr76y58NTkqyfWL XZxcUkA • マテリアルの基礎概念 • Unreal Engine 4 最初の 1 時間 • Unreal Editor の基本 - アクタとブループリント • Unreal Engine 入門 • 初めてのシーケンサ • Unreal エディタの基本 - エディタ入門 • インディーズ フィルム制作での Unreal Engine • 物理ベースのショットビズ • • • https://www.unrealengine.com/ja/blog/unrealquest-01archives https://www.unrealengine.com/ja/onlinelearning-courses/yourfirst-hour-in-unreal-engine-4 https://www.unrealengine.com/ja/onlinelearningcourses/introducing-unreal-engine https://www.unrealengine.com/ja/onlinelearning-courses/unrealeditor-fundamentals---editor-introduction プロジェクトとファイル構造について https://www.unrealengine.com/ja/onlinelearningcourses/comprehending-projects-and-file-structure エンジン構造 キックスタート https://www.unrealengine.com/ja/onlinelearning-courses/enginestructure-kickstart https://www.unrealengine.com/ja/onlinelearningcourses/materials-kickstart https://www.unrealengine.com/ja/onlinelearningcourses/materials---exploring-essential-concepts https://www.unrealengine.com/ja/onlinelearning-courses/unrealeditor-fundamentals---actors-and-blueprints https://www.unrealengine.com/ja/onlinelearning-courses/yourfirst-hour-in-sequencer https://www.unrealengine.com/ja/onlinelearningcourses/independent-filmmaking-with-unreal-engine https://www.unrealengine.com/ja/onlinelearning-courses/physicsbased-shotviz

キャラクター / アニメーション • • 【連載】第1回：映像制作におけるUE4のた めのキャラクターデータ構成 (古め) • 猫でも分かる Control Rig UE4.25 版 https://www.unrealengine.com/ja/blog/ue4characterdesign-modeling • Control Rig ドキュメント Chara@Maya ライブ！～キャラクターセット アップからUE4への出力～ (古め) • ユニークな振動目玉レンズを自作する https://area.autodesk.jp/movie/cedec-2017/charamaya-live.html • • Skeletal Meshについて https://docs.unrealengine.com/4.27/ja/Basics/Actors/S keletalMeshActors/ 初めてのアニメーション https://www.unrealengine.com/ja/onlinelearningcourses/your-first-hour-with-animation • https://youtu.be/loN69BeLba4 https://docs.unrealengine.com/4.27/ja/AnimatingObjec ts/SkeletalMeshAnimation/ControlRig/ https://www.unrealengine.com/ja/onlinelearningcourses/generating-oddly-oscillating-globe-lensesyourself Character Art Dive https://www.unrealengine.com/ja/blog/epicgamesjapa n-onlinelearning-13 • MetaHumanサンプル解体新書 https://youtu.be/VBkOXtFzer4

背景 • Unreal の背景アーティストになるために • Environment Art Dive • 背景アーティスト向けツールの解説 • プロシージャル技法による背景の自動生成 『1,000の和室』 • • https://www.unrealengine.com/ja/onlinelearningcourses/becoming-an-environment-artist-in-unreal https://www.unrealengine.com/ja/onlinelearningcourses/an-in-depth-look-at-environment-artist-basedtools ランドスケープの基本概念 https://www.unrealengine.com/ja/onlinelearningcourses/landscape-essential-concepts Quixel YouTube https://www.unrealengine.com/ja/blog/ue4environment-art-dive https://youtu.be/DLO7ARN9pLI • Unreal Engine 4 マテリアルデザイン入門 (書籍) https://www.shuwasystem.co.jp/book/9784798050553 .html https://www.youtube.com/c/quixeltools 出典：秀和システム

エフェクト • Niagara ドキュメント • VFX Art Dive • Niagara で高度なエフェクトを作成する（日 本語字幕付き） • HoudiniとUnreal Engine 4で学ぶリアルタ イムVFX(書籍) https://docs.unrealengine.com/4.27/ja/RenderingAndG raphics/Niagara/ https://youtu.be/syVSRDQxrZU • https://www.unrealengine.com/ja/blog/epicgamesja pan-onlinelearning-06 https://www.borndigital.co.jp/book/16566.html リアルタイム VFX の進化（日本語字幕付 き） https://youtu.be/bX6tdCdOEVA • Advanced Niagara Effects（日本語字 幕付き） https://youtu.be/31GXFW-MgQk 出典：Born Digital

ライティング / レンダリング • ライティングの基礎概念とエフェクト • グローバルイルミネーションの基礎 • • https://www.unrealengine.com/ja/onlinelearningcourses/lighting-essential-concepts-and-effects https://www.unrealengine.com/ja/onlinelearningcourses/introducing-global-illumination 建築プロジェクト向けのライティングの基礎 https://www.unrealengine.com/ja/onlinelearningcourses/understanding-the-essential-concepts-oflighting-for-architectural-projects 建築家向けの上級テクニック https://www.unrealengine.com/ja/onlinelearningcourses/advanced-techniques-for-architects • ハイエンド プロダクト ライティングとレンダリング • ポストプロセスの基礎 • Quixel を使用したフォトリアルなシネマティック スの作成 https://www.unrealengine.com/ja/onlinelearningcourses/high-end-product-lighting-and-renderingexterior https://www.unrealengine.com/ja/onlinelearning-courses/postprocessing-essentials https://www.unrealengine.com/ja/onlinelearningcourses/creating-photoreal-cinematics-with-quixel • Ray Tracing Night https://www.unrealengine.com/ja/blog/ue4-raytracing-night-week

映像制作に関する講演 アニメ「ノー・ガンズ・ライフ」における、UE4による CGとセルアニメとの融合 UE4を使用したバーチャルヒューマンの映像制作 『ガールズ＆パンツァー 最終章』第3話 アニメとゲ ームエンジンの融合 Unreal Engineでのコンフィギュレーター制作と映 像制作 https://youtu.be/HcQVq2Rr9KA https://youtu.be/37Ea9u6EQEQ https://youtu.be/69AlWCzUSRI https://youtu.be/xz5_y36Tsxk

ご視聴ありがとうございました！