バーチャルプロダクションシステムを自作する【UNREAL FEST EXTREME 2021 WINTER】

31.3K Views

November 08, 21

スライド概要

講演アーカイブ:
https://www.youtube.com/watch?v=scJHbJUkkpI&list=PLr_Cbd4sUDTyMGAtfqRojwzFxkVXuU-_L&index=5

講演内容:
近年のコロナ禍、AR / XR / バーチャルプロダクションといったCG技術を取り入れたライブ配信、スタジオ撮影への注目度が高まっています。今回の講演では、弊社で開発しているバーチャルプロダクションシステムがどういう工程をもって作られていったのかの開発過程の様子や、UnrealEngineをレンダリングエンジンとして使った事例などを交えてお話できればと思います。

講演者:
比嘉 了 (BACKSPACE Productions Inc. 取締役)

UNREAL FEST EXTREME 2021 WINTER公式サイト:
https://unrealengine.jp/unrealfest/extreme2021winter/
#uefest

profile-image

Unreal Engineを開発・提供しているエピック ゲームズ ジャパンによる公式アカウントです。 勉強会や配信などで行った講演資料を公開しています。 公式サイトはこちら https://www.unrealengine.com/ja/

シェア

埋め込む »CMSなどでJSが使えない場合

各ページのテキスト
1.

バーチャルプロダクション システムを自作する BACKSPACE Productions Inc 比嘉 了

2.

自己紹介 BACKSPACE Productions Inc 比嘉 了 ヴィジュアルアーティスト・プログラマ https://backspace.tokyo/ @satoruhiga

3.

今日話すこと - 事例紹介 バーチャルプロダクションシステム制作において大切なこと AR/XR表現のキモとなるレンズキャリブレーションの方法 システム設計のアイディア AR/XR/バーチャルプロダクション技術を使っての制作を始めた い人向け UE4自体の情報は少なめになります!!! (すみません!💦)

6.

事例

7.

NHKスペシャル 「2030 未来への分岐点」 - 荒廃した未来の渋谷の町並 みのバーチャル背景 - PreViz https://www.nhk.jp/p/special/ts/2NY2QQLPM3/episode/te/28VK 5K6J99/ より リアルタイムでない、後処理前 提の関わり方

8.

きっかけ 2019年冬、株式会社 HIP LAND MUSIC・株式 会社 SEP・弊社の3社共同でXR配信システムの R&Dプロジェクト - 新しいデバイスの導入を検討 - 光学式モーションキャプチャカメラ - stYpe RedSpy → カメラトラッカーは使ったことがなかったの で、RedSpyを購入

9.

コアコンセプト 物理的な空間にCGの空間をどれだけ寄せられるか - CGの空間のほうが自由度が高い - CGの空間のを動かすほうが予算がかからない → CGのカメラや空間のパラメーターを調整して物理空間に寄せ ていく

10.

どのようにしてCGを寄せていくのか - レンズキャリブレーション カメラを動かした時の 空間 をあわせる - ライティング、コンポジット 実写映像、CGの ルック をあわせる - ディレイ調整 システム全体の 時間 をあわせる

11.

どのようにしてCGを寄せていくのか - レンズキャリブレーション カメラを動かした時の 空間 をあわせる - ライティング、コンポジット 実写映像、CGの ルック をあわせる - ディレイ調整 システム全体の 時間 をあわせる

12.

レンズキャリブレーション

13.

物理カメラをCGカメラで近似する 物理カメラ - イメージセンサーによって 物理的に制約される - レンズ内で光学的な変換が 行われる - カメラ原点はレンズの中ほ ど、正像と鏡像がいれかわ る位置(右図の主点)にある https://www.toshiba-teli.co.jp/technology/technical/t0012RayDiagram.htm より

15.

ポジショントラッカー → CGカメラの座 標系変換

16.

ポジショントラッカー → CGカメラの座 標系変換 ポジショントラッカーの位置情報を、物理レンズ内の主点に変換 する必要がある 主点 → CGカメラの位置 = ポジショントラッカーの位置 + イメージセンサーまでのオフセット + Nodal Offset

17.

+ + = ポジショントラッカー → CGカメラの座標系変換

18.

イメージセンサーの位置 カメラによっては撮像面マークがある ない場合は、フランジバック (=レンズマウント のマウント面からイメージセンサーまでの距離を 表す数値) を使う https://photomilk.net/2019/ 04/flangeback/ より

19.

Nodal Offset ややこしい。CGカメラの FOVとNodal Offsetの2つの パラメーターを手動で調整し ながら追い込んでいくしかな い。 UE4のCamera Calibration プラグインではチェックボー ドでキャリブレーションでき る?

20.

FOV, Nodal Offsetの調整 基準となるターゲットを複数個配置する - 原点、カメラ正面の一直線上に置く - ターゲットの位置を実測する - 原点はカメラ真下にした方がいい時も 配置、実測の精度を上げるには - レーザー墨出し器 - レーザー距離計

23.

画面端ではレンズ歪みが発生する → CGのレンダリング結果にレンズ歪みを加えて調整する 最終的にはカメラを動かしてみて、自分がOKと思えばOK → どうしても実測精度には限界がある 課題: 定量的な評価、キャリブレーション自動化の方法を考えた い

24.

ズームレンズ ズームレベルを取得するデバイス - Vanishing Point VIPER Indiemark lens encoder Zhiyun Crane 2のフォーカスモーターをハックする ポテンションメーター、ロータリーエンコーダー等で自作す る → レンズの回転がとれればどれでもOK

25.

ズームレンズ ズームレンズの場合、画角、主点の位置がズームレベルによって 変化する → 5-10程度の点でそれぞれ画角、Nodal Offsetのレンズキャリ ブレーション → 変換テーブルを作って線形補間する ズームレンズは難しいので、まずは単焦点レンズから

26.

どのようにしてCGを寄せていくのか - レンズキャリブレーション カメラを動かした時の 空間 をあわせる - ライティング、コンポジット 実写映像、CGの ルック をあわせる - ディレイ調整 システム全体の 時間 をあわせる

27.

ライティング、コンポジット IBLで環境光をとりこむ 黒レベルをとる、エッジブレ ンディングなどをしてCGと実 写映像をなじませる など実写 合成のテクニックも有効

28.

DMXライトとの連動

29.

どのようにしてCGを寄せていくのか - レンズキャリブレーション カメラを動かした時の 空間 をあわせる - ライティング、コンポジット 実写映像、CGの ルック をあわせる - ディレイ調整 システム全体の 時間 をあわせる

30.

ディレイ調整 入力ごとに固有のレイテンシがある - カメラ、キャプチャボード - ポジショントラッカー - レンズデータ - DMX 一番レイテンシのあるものにあわせて他を遅らせていく

31.

システム概要 TouchDesigner - 扱い慣れている IOの豊富さ タイミング調整が容易 コントローラー的な使い方 Unreal Engine 4 - よりリアルな質感 - 綺麗なポストプロセス - DoF - リフレクション - Convolution Bloom - Sequencer - 豊富なアセット → いい所どりできるようにしたい

32.

システム概要

33.

システム概要 - CGカメラの座標系変換を事前に行う - UE4側ではレンズキャリブレーションを気にしない - Spoutのプラグインを自作 - CPUコピーをなくした版 - https://github.com/backspacetokyo/UE4-Spout2 - UE4内ではSceneCapture2Dで撮影したテクスチャをSpoutで送り返 す - モジューラブルなシステム設計が調子がいい このシステムをベースに要件によって拡張している

34.

レコーディングデータの活用 事前にレコーディングしたデータを 使ってシーン制作 → 本番環境でなくてもある程度作れ るようになる → ARのシステム回りとコンテンツ の作り込みを分離できる

36.

マルチデバイス ポジショントラッカーが変更 になっても大部分は同じ仕組 みで対応できる

37.

IP Workflow NDIのフレームにカメ ラデータをメタデータ として重畳 - PCを分けれる - 映像とカメラデータ がずれない - スケールしやすい - 3-5F程度のディレイ

38.

PreViz → ポスプロ対応 レンダリングは別PC - 撮影時にもシーンを 編集できる - レコーダー安定性の 向上 レコーディングした素材を ポスプロ用に書き出し - カメラFBX - exr連番

39.

システム自作のメリット/デメリット メリット - 最新のUnreal Engineが使える - 金銭的なコストが安い - 要件に応じて細かくカスタマイズできる - チャレンジングなことができる デメリット - 時間的なコストが高い

40.

バーチャルプロダクションシステム自作 まとめ - 低コスト、アイディア次第で色々なことができる - レンズキャリブレーシヨンが鬼門 - やり方を覚えてしまえばどの環境でも同様なことができる - レコーディングできる環境は絶対にあったほうがいい - モジューラブルな設計 - モジュールの組み合わせでフレキシブルに運用できる - モジュール間の通信にはオープンなフォーマットを使う - パフォーマンス的に可能であればIP通信を使えるとさらに広がりが ある

41.

ありがとうございました!!!