---
title: バーチャルプロダクションシステムを自作する【UNREAL FEST EXTREME 2021 WINTER】
tags:  #ue4 #unreal fest #unreal fest extreme 2021 winter #バーチャルプロダクション #ue-xr  
author: [エピック ゲームズ ジャパン](https://www.docswell.com/user/EpicGamesJapan)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/Z57GVKV27L.jpg?width=480
description: 講演アーカイブ： https://www.youtube.com/watch?v=scJHbJUkkpI&list=PLr_Cbd4sUDTyMGAtfqRojwzFxkVXuU-_L&index=5  講演内容： 近年のコロナ禍、AR / XR / バーチャルプロダクションといったCG技術を取り入れたライブ配信、スタジオ撮影への注目度が高まっています。今回の講演では、弊社で開発しているバーチャルプロダクションシステムがどういう工程をもって作られていったのかの開発過程の様子や、UnrealEngineをレンダリングエンジンとして使った事例などを交えてお話できればと思います。  講演者： 比嘉 了 (BACKSPACE Productions Inc. 取締役)  UNREAL FEST EXTREME 2021 WINTER公式サイト： https://unrealengine.jp/unrealfest/extreme2021winter/ #uefest
published: November 08, 21
canonical: https://www.docswell.com/s/EpicGamesJapan/5VPYL5-UFE21w_BACKSPACE_VirtualProduction
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/Z57GVKV27L.jpg)

バーチャルプロダクション
システムを自作する
BACKSPACE Productions Inc
比嘉 了


# Page. 2

![Page Image](https://bcdn.docswell.com/page/V4EQ6N69EP.jpg)

自己紹介
BACKSPACE Productions Inc
比嘉 了
ヴィジュアルアーティスト・プログラマ
https://backspace.tokyo/
@satoruhiga


# Page. 3

![Page Image](https://bcdn.docswell.com/page/DKJ44GMRJ1.jpg)

今日話すこと
-
事例紹介
バーチャルプロダクションシステム制作において大切なこと
AR/XR表現のキモとなるレンズキャリブレーションの方法
システム設計のアイディア
AR/XR/バーチャルプロダクション技術を使っての制作を始めた
い人向け
UE4自体の情報は少なめになります！！！ (すみません！💦)


# Page. 4

![Page Image](https://bcdn.docswell.com/page/PLE14D8VEG.jpg)



# Page. 5

![Page Image](https://bcdn.docswell.com/page/8GEWXYZ372.jpg)



# Page. 6

![Page Image](https://bcdn.docswell.com/page/W47Z6X1G73.jpg)

事例


# Page. 7

![Page Image](https://bcdn.docswell.com/page/KYJ624LQ7V.jpg)

NHKスペシャル
「2030 未来への分岐点」
- 荒廃した未来の渋谷の町並
みのバーチャル背景
- PreViz
https://www.nhk.jp/p/special/ts/2NY2QQLPM3/episode/te/28VK
5K6J99/ より
リアルタイムでない、後処理前
提の関わり方


# Page. 8

![Page Image](https://bcdn.docswell.com/page/5GJ52Q12J4.jpg)

きっかけ
2019年冬、株式会社 HIP LAND MUSIC・株式
会社 SEP・弊社の3社共同でXR配信システムの
R&Dプロジェクト
- 新しいデバイスの導入を検討
- 光学式モーションキャプチャカメラ
- stYpe RedSpy
→ カメラトラッカーは使ったことがなかったの
で、RedSpyを購入


# Page. 9

![Page Image](https://bcdn.docswell.com/page/V9E24P11JR.jpg)

コアコンセプト
物理的な空間にCGの空間をどれだけ寄せられるか
- CGの空間のほうが自由度が高い
- CGの空間のを動かすほうが予算がかからない
→ CGのカメラや空間のパラメーターを調整して物理空間に寄せ
ていく


# Page. 10

![Page Image](https://bcdn.docswell.com/page/5D7YM5Z47M.jpg)

どのようにしてCGを寄せていくのか
- レンズキャリブレーション
カメラを動かした時の 空間 をあわせる
- ライティング、コンポジット
実写映像、CGの ルック をあわせる
- ディレイ調整
システム全体の 時間 をあわせる


# Page. 11

![Page Image](https://bcdn.docswell.com/page/2VENWN36E8.jpg)

どのようにしてCGを寄せていくのか
- レンズキャリブレーション
カメラを動かした時の 空間 をあわせる
- ライティング、コンポジット
実写映像、CGの ルック をあわせる
- ディレイ調整
システム全体の 時間 をあわせる


# Page. 12

![Page Image](https://bcdn.docswell.com/page/GY79XR9RJ3.jpg)

レンズキャリブレーション


# Page. 13

![Page Image](https://bcdn.docswell.com/page/5G782W9G7D.jpg)

物理カメラをCGカメラで近似する
物理カメラ
- イメージセンサーによって
物理的に制約される
- レンズ内で光学的な変換が
行われる
- カメラ原点はレンズの中ほ
ど、正像と鏡像がいれかわ
る位置(右図の主点)にある
https://www.toshiba-teli.co.jp/technology/technical/t0012RayDiagram.htm より


# Page. 14

![Page Image](https://bcdn.docswell.com/page/ML7L2NWXJR.jpg)



# Page. 15

![Page Image](https://bcdn.docswell.com/page/54EM8X93EW.jpg)

ポジショントラッカー → CGカメラの座
標系変換


# Page. 16

![Page Image](https://bcdn.docswell.com/page/ZPER5NGR79.jpg)

ポジショントラッカー → CGカメラの座
標系変換
ポジショントラッカーの位置情報を、物理レンズ内の主点に変換
する必要がある
主点 → CGカメラの位置 =
ポジショントラッカーの位置
+ イメージセンサーまでのオフセット
+ Nodal Offset


# Page. 17

![Page Image](https://bcdn.docswell.com/page/NP7XKNXYEX.jpg)

+
+
= ポジショントラッカー → CGカメラの座標系変換


# Page. 18

![Page Image](https://bcdn.docswell.com/page/637K5NW4ED.jpg)

イメージセンサーの位置
カメラによっては撮像面マークがある
ない場合は、フランジバック (=レンズマウント
のマウント面からイメージセンサーまでの距離を
表す数値) を使う
https://photomilk.net/2019/
04/flangeback/ より


# Page. 19

![Page Image](https://bcdn.docswell.com/page/4LJ3KV1DJ5.jpg)

Nodal Offset
ややこしい。CGカメラの
FOVとNodal Offsetの2つの
パラメーターを手動で調整し
ながら追い込んでいくしかな
い。
UE4のCamera Calibration
プラグインではチェックボー
ドでキャリブレーションでき
る？


# Page. 20

![Page Image](https://bcdn.docswell.com/page/V8JD38X2EG.jpg)

FOV, Nodal Offsetの調整
基準となるターゲットを複数個配置する
- 原点、カメラ正面の一直線上に置く
- ターゲットの位置を実測する
- 原点はカメラ真下にした方がいい時も
配置、実測の精度を上げるには
- レーザー墨出し器
- レーザー距離計


# Page. 21

![Page Image](https://bcdn.docswell.com/page/4VEP48PLJ8.jpg)



# Page. 22

![Page Image](https://bcdn.docswell.com/page/L27VXN26EQ.jpg)



# Page. 23

![Page Image](https://bcdn.docswell.com/page/Z5JGVKR2JL.jpg)

画面端ではレンズ歪みが発生する
→ CGのレンダリング結果にレンズ歪みを加えて調整する
最終的にはカメラを動かしてみて、自分がOKと思えばOK
→ どうしても実測精度には限界がある
課題: 定量的な評価、キャリブレーション自動化の方法を考えた
い


# Page. 24

![Page Image](https://bcdn.docswell.com/page/V47Q6NV97P.jpg)

ズームレンズ
ズームレベルを取得するデバイス
-
Vanishing Point VIPER
Indiemark lens encoder
Zhiyun Crane 2のフォーカスモーターをハックする
ポテンションメーター、ロータリーエンコーダー等で自作す
る
→ レンズの回転がとれればどれでもOK


# Page. 25

![Page Image](https://bcdn.docswell.com/page/DKE44GWRE1.jpg)

ズームレンズ
ズームレンズの場合、画角、主点の位置がズームレベルによって
変化する
→ 5-10程度の点でそれぞれ画角、Nodal Offsetのレンズキャリ
ブレーション
→ 変換テーブルを作って線形補間する
ズームレンズは難しいので、まずは単焦点レンズから


# Page. 26

![Page Image](https://bcdn.docswell.com/page/PL714DYV7G.jpg)

どのようにしてCGを寄せていくのか
- レンズキャリブレーション
カメラを動かした時の 空間 をあわせる
- ライティング、コンポジット
実写映像、CGの ルック をあわせる
- ディレイ調整
システム全体の 時間 をあわせる


# Page. 27

![Page Image](https://bcdn.docswell.com/page/8G7WXYG3J2.jpg)

ライティング、コンポジット
IBLで環境光をとりこむ
黒レベルをとる、エッジブレ
ンディングなどをしてCGと実
写映像をなじませる など実写
合成のテクニックも有効


# Page. 28

![Page Image](https://bcdn.docswell.com/page/W4JZ6XLGJ3.jpg)

DMXライトとの連動


# Page. 29

![Page Image](https://bcdn.docswell.com/page/KYE624WQJV.jpg)

どのようにしてCGを寄せていくのか
- レンズキャリブレーション
カメラを動かした時の 空間 をあわせる
- ライティング、コンポジット
実写映像、CGの ルック をあわせる
- ディレイ調整
システム全体の 時間 をあわせる


# Page. 30

![Page Image](https://bcdn.docswell.com/page/5GE52QM2E4.jpg)

ディレイ調整
入力ごとに固有のレイテンシがある
- カメラ、キャプチャボード
- ポジショントラッカー
- レンズデータ
- DMX
一番レイテンシのあるものにあわせて他を遅らせていく


# Page. 31

![Page Image](https://bcdn.docswell.com/page/V9724P91ER.jpg)

システム概要
TouchDesigner
-
扱い慣れている
IOの豊富さ
タイミング調整が容易
コントローラー的な使い方
Unreal Engine 4
- よりリアルな質感
- 綺麗なポストプロセス
- DoF
- リフレクション
- Convolution Bloom
- Sequencer
- 豊富なアセット
→ いい所どりできるようにしたい


# Page. 32

![Page Image](https://bcdn.docswell.com/page/5DJYM544JM.jpg)

システム概要


# Page. 33

![Page Image](https://bcdn.docswell.com/page/2V7NWNY678.jpg)

システム概要
- CGカメラの座標系変換を事前に行う
- UE4側ではレンズキャリブレーションを気にしない
- Spoutのプラグインを自作
- CPUコピーをなくした版
- https://github.com/backspacetokyo/UE4-Spout2
- UE4内ではSceneCapture2Dで撮影したテクスチャをSpoutで送り返
す
- モジューラブルなシステム設計が調子がいい
このシステムをベースに要件によって拡張している


# Page. 34

![Page Image](https://bcdn.docswell.com/page/GYJ9XRPRE3.jpg)

レコーディングデータの活用
事前にレコーディングしたデータを
使ってシーン制作
→ 本番環境でなくてもある程度作れ
るようになる
→ ARのシステム回りとコンテンツ
の作り込みを分離できる


# Page. 35

![Page Image](https://bcdn.docswell.com/page/5GJ82WDGJD.jpg)



# Page. 36

![Page Image](https://bcdn.docswell.com/page/MLJL2NMXER.jpg)

マルチデバイス
ポジショントラッカーが変更
になっても大部分は同じ仕組
みで対応できる


# Page. 37

![Page Image](https://bcdn.docswell.com/page/547M8XY37W.jpg)

IP Workflow
NDIのフレームにカメ
ラデータをメタデータ
として重畳
- PCを分けれる
- 映像とカメラデータ
がずれない
- スケールしやすい
- 3-5F程度のディレイ


# Page. 38

![Page Image](https://bcdn.docswell.com/page/ZP7R5N9RJ9.jpg)

PreViz → ポスプロ対応
レンダリングは別PC
- 撮影時にもシーンを
編集できる
- レコーダー安定性の
向上
レコーディングした素材を
ポスプロ用に書き出し
- カメラFBX
- exr連番


# Page. 39

![Page Image](https://bcdn.docswell.com/page/NPJXKNQY7X.jpg)

システム自作のメリット/デメリット
メリット
- 最新のUnreal Engineが使える
- 金銭的なコストが安い
- 要件に応じて細かくカスタマイズできる
- チャレンジングなことができる
デメリット
- 時間的なコストが高い


# Page. 40

![Page Image](https://bcdn.docswell.com/page/63JK5N947D.jpg)

バーチャルプロダクションシステム自作
まとめ
- 低コスト、アイディア次第で色々なことができる
- レンズキャリブレーシヨンが鬼門
- やり方を覚えてしまえばどの環境でも同様なことができる
- レコーディングできる環境は絶対にあったほうがいい
- モジューラブルな設計
- モジュールの組み合わせでフレキシブルに運用できる
- モジュール間の通信にはオープンなフォーマットを使う
- パフォーマンス的に可能であればIP通信を使えるとさらに広がりが
ある


# Page. 41

![Page Image](https://bcdn.docswell.com/page/4LE3KVWDE5.jpg)

ありがとうございました！！！