Unreal EngineとiPhoneで始める リアルタイムAR配信
94K Views
September 11, 22
スライド概要
AR Developer
関連スライド
各ページのテキスト
iOSDC 2022 Unreal EngineとiPhoneで始める リアルタイムAR配信 Satoshi Hattori @shmdevelop
Unreal Engineと
iPhoneを使って
リアルタイムAR配信...
格好良いぜ...！
今日はその考え方と要点を説明します！
服部 智 CyberAgent - AICG事業部 - xRギルド リーダー - AR Next Expert 最近の興味: Unreal Engine 5、LiveLink Plugin、 iPhoneの映像ワークフロー活用、 NDI、動画倍速視聴・スキップ視聴
Unreal Engine リアルタイム映像処理に向いたゲームエンジン
リアルタイムAR配信
このシーンではPanasonic AW-UE150 使用
前置きとして "多様な実現方法の1パターン" です
前置きとして "半年前の自分が泣いて喜ぶ資料" です
前置きとして "今回はWindows PC使用" です
GALLERIA Windows10 CPU: Core i9 11900K グラフィックボード: GeForce RTX 3080 メモリ: DDR4-3200 16GB
目次 AR合成の概要 カメラトラッキング方法 Unreal Engineを使った基本的なシーン作成 iPhoneを使う手法 bonus: PTZカメラを使う手法
目次 AR合成の概要 カメラトラッキング方法 Unreal Engineを使った基本的なシーン作成 iPhoneを使う手法
現実世界とCG空間をぴったり合わせる作業
AR合成の概要
AR合成の概要 CG原点を決める 現実と同じサイズでCG空間を作成する CG空間のカメラと現実のカメラの情報を合わせる カメラの動きをCG空間に伝える
CG原点を決める
CG原点を決める 現実世界での 動かない、消えない、分かりやすい一点
CG原点を決める
CG原点を決める
CG原点を決める
CG原点を決める
AR合成の概要 CG原点を決める 現実と同じサイズでCG空間を作成する CG空間のカメラと現実のカメラの情報を合わせる カメラの動きをCG空間に伝える
現実と同じサイズでCG空間を作成する
現実と同じサイズでCG空間を作成する
現実と同じサイズでCG空間を作成する
1 Unreal Unit は 現実の1cm
現実と同じサイズでCG空間を作成する
AR合成の概要 CG原点を決める 現実と同じサイズでCG空間を作成する CG空間のカメラと現実のカメラの情報を合わせる カメラの動きをCG空間に伝える
CG空間のカメラと現実のカメラの情報を合わせる
「位置」を合わせる
CG空間のカメラと現実のカメラの情報を合わせる
CG空間のカメラと現実のカメラの情報を合わせる
ボッシュ(BOSCH) レーザー距離計 ZAMO3
「カメラとレンズの特性」を合わせる
カメラの Focal Length (焦点距離)、FOV、Sensor Size (センサーサイズ) の関係 Unity Documentation, 物理カメラの使用 https://docs.unity3d.com/ja/2019.4/Manual/PhysicalCameras.html
CG空間のカメラと現実のカメラの情報を合わせる
CG空間のカメラと現実のカメラの情報を合わせる
AR合成の概要 CG原点を決める 現実と同じサイズでCG空間を作成する CG空間のカメラと現実のカメラの情報を合わせる カメラの動きをCG空間に伝える
カメラの動きをCG空間に伝える
カメラの動きをCG空間に伝える
AR合成の概要 CG原点を決める 現実と同じサイズでCG空間を作成する CG空間のカメラと現実のカメラの情報を合わせる カメラの動きをCG空間に伝える
目次 AR合成の概要 カメラトラッキング方法 Unreal Engineを使った基本的なシーン作成 iPhoneを使う手法
目次 AR合成の概要 カメラトラッキング方法 Unreal Engineを使った基本的なシーン作成 iPhoneを使う手法
カメラトラッキング方式 カメラトラッキング 送信プロトコル
カメラトラッキング方式 光学式 機械式 画像式 その他 慣性センサ 磁気 etc
カメラトラッキング方式 光学式 事前設置した反射マーカー位置を専用カメラで捉えカメラ位置を判定 機械式 画像式 その他 慣性センサ 磁気 etc https://www.nacxr.jp/product/redspy/
カメラトラッキング方式 光学式 機械式 ギアやエンコーダなどの回転角や変位を測定するセンサを使用 画像式 その他 慣性センサ 磁気 etc https://www.nacinc.jp/creative/virtual-products/stypekit/
カメラトラッキング方式 光学式 機械式 画像式 画像の特徴点を取得しトラッキングする その他 慣性センサ 磁気 etc
カメラトラッキング方法 光学式 機械式 画像式 その他 慣性センサ 磁気 etc
カメラトラッキング方式 カメラトラッキング 送信プロトコル
カメラトラッキング 送信プロトコル FreeD NDI
FreeD
FreeD ネットワーク経由で送信されたカメラトラッキングデータを 読み込み、仮想3Dカメラを制御するために使用できるプロトコル FreeD は特定のトラッキングシステム専用ではなく 幅広いハードウェアとソフトウェアに対応しているため 交換プロトコルとして広く普及している
https://www.manualsdir.com/manuals/641433/vinten-radamec-free-d.html
FreeD Type D1
https://github.com/satoshi0212/FreeDSendSimulator
カメラトラッキング 送信プロトコル FreeD NDI
NDI
NDI(Network Device Interface)とは IPネットワークを経由してビデオとオーディオストリームを 伝送する方式のひとつ 現在世界で最も利用されているIP伝送テクノロジーで、 IPを利用したライブ映像制作ワークフロー支援を目的としている
https://speakerdeck.com/satoshi0212/nditoarkitwolian-dong-sasetaxin-siiying-xiang-biao-xian
https://github.com/satoshi0212/NDISenderExample
カメラトラッキング方式 カメラトラッキング 送信プロトコル
目次 AR合成の概要 カメラトラッキング方法 Unreal Engineを使った基本的なシーン作成 iPhoneを使う手法