空間ビデオの紹介と活用

3.7K Views

May 16, 24

スライド概要

2024/4/18に実施されたHololab Conference 2024のセッションスライドです。

■セッションアーカイブはこちら
https://www.youtube.com/playlist?list=PLcIuMEVR3eYegP17SKG_UPgERmmGStEr_

ーーー
■公式HP
https://hololab.co.jp/

■公式Twitter
https://twitter.com/HoloLabInc

profile-image

ホロラボです Unityを使用したHoloLensのアプリ開発を中心にしています。 最近では建設業でのBIMデータ、製造業でのCAD データ、空間の3Dスキャン(点群データやメッシュデータ)も扱っています。 物理世界とデジタル世界をどのように連携するか。ということを日々考えています。

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

空間ビデオの紹介と活用について 2024年4月 株式会社ホロラボ 林 知樹 / 清水 雄大 Copyright© HoloLab Inc. All rights reserved 1

2.

自己紹介1 • 林 知樹 o株式会社ホロラボ所属 o執行役員/TMTグループ • Web系システムエンジニア • HoloLensに出会う • Unityなど • 自社パッケージ ▪ Holo-Commucation 開発してました Copyright© HoloLab Inc. All rights reserved 2

3.

自己紹介2 • 清水 雄大 • 株式会社ホロラボ所属 • ソフトウェアエンジニア/TMTグループ • 油絵科卒 • インタラクティブコンテンツ開発 • XRアプリケーション開発 • 画像処理 ・・・等 Copyright© HoloLab Inc. All rights reserved 3

4.

このセッションの概要 •「空間ビデオの紹介と活用について」 (20分) oApple Vision Pro の発売に合わせて 3次元で動画再生ができる空間ビデオが登場しました。 oApple HEVC Stereo Video/Spatial Videoとも呼ばれます。 o空間ビデオの特徴や作成方法について、 ホロラボで調査/開発した内容を紹介します。 oこのセッションを通じて、空間ビデオの魅力や可能性を感じて、 一緒に取り組んでくれるパートナーを社内外に見つけていきたい。 Copyright© HoloLab Inc. All rights reserved 4

5.

ホロコミュニケーションについて 自社パッケージ製品、HOLO-COMMUNICATION(ホロコミュニケーション) は、 遠隔参加者の前に設置した 3D センサーにより 3D 立体映像をリアルタイムで目の前に出現させ、 音声やジェスチャーでコミュニケーションできる 3D立体映像遠隔コミュニケーションシステム。 https://hololab.co.jp/holo-communication/ Copyright© HoloLab Inc. All rights reserved 5

6.

3D 立体映像配信 • 3D 立体映像をやってみて • 良いところ o 実在感が増す。 o 相手の存在を感じることができる。 o 音声と組み合わせることも重要。 o 録画/再生ができるのは便利 • やってみての課題 o ヘッドマウントディスプレイを相互に装着すると、お互いの顔が見えない。 o スペックの限界 ▪ ネットワーク帯域 • 3Dデータのライブ配信には、多くのネットワーク帯域が必要 ▪ レンダリング時のCPU/GPU負荷 • 描画はできても、他コンテンツとの同時再生の余裕は無い。 ▪ 画像の解像度 • 実寸大で表示すると解像度の粗さが目立つ Copyright© HoloLab Inc. All rights reserved 6

7.

空間ビデオについて • 空間ビデオは3次元動画のフォーマットである。 oApple が Vision Pro とともに発表 o撮影デバイス ▪ iPhone 15 Pro(Max)およびApple Vison Pro o視聴デバイス ▪ Apple Vison Pro • https://www.apple.com/jp/newsroom/2023/12/apple-introduces-spatial-video-capture-on-iphone-15-pro/ Copyright© HoloLab Inc. All rights reserved 7

8.

空間ビデオの注目ポイント1 • 空間ビデオは再生方法にも特徴があります。 • 音と、映像が その場に定位している • ぼかし方 Copyright© HoloLab Inc. All rights reserved 8

9.

空間ビデオの注目ポイント2 • Appleは「空間」のコンテキストを重視している o空間コンピューティング (Apple Vison Pro) o空間オーディオ (Air Pods/Pro) o空間ビデオ (iPhone 15 Pro/Apple Vision Pro) o空間ビデオを理解することで、Appleの空間コンピューティングのコ ンテキストの理解を深めることができるのではないか? Copyright© HoloLab Inc. All rights reserved 9

10.

フォーマット仕様書 • フォーマットとして MV-HEVC という https://developer.apple.com/av-foundation/Stereo-Video-ISOBMFF-Extensions.pdf Copyright© HoloLab Inc. All rights reserved 10

11.

ホロラボの空間ビデオの取り組み • 空間ビデオの魅力をさらに広げる3つの取り組みを研究開発 1.空間ビデオの作成/変換 ▪ CG空間を空間ビデオ ▪ 2D映像を空間ビデオ • 普通のカメラで空間ビデオ 2.空間ビデオの視聴 • WebXRで空間ビデオ再生 • Unity内で空間ビデオ再生 3.空間ビデオの配信(予定) • ストリーミング配信(ライブ/アーカイブ) Copyright© HoloLab Inc. All rights reserved 11

12.

具体的な取り組みについては 清水さんお願いします Copyright© HoloLab Inc. All rights reserved 12

13.

ステレオデータの視聴について • ステレオスコープ • アナグリフ • 偏光方式 • (対応した表示システムとセット) • アクティブシャッター方式 • (対応した表示システムとセット) • パララックスバリア方式 ・・・等 Copyright© HoloLab Inc. All rights reserved 13

14.

空間ビデオの紹介 • Vision ProでSpatial Videoを視聴している様子と QuestでSpatial Videoを視聴している様子の比較 Copyright© HoloLab Inc. All rights reserved 14

15.

マルチデバイスでのステレオレンダリング -ステレオデータについて Copyright© HoloLab Inc. All rights reserved 15

16.

ステレオデータ(テクスチャについて) • ステレオデータの形式 Top and Bottom Texture2DArray Side by Side L L R Index:0 R Index:1 Copyright© HoloLab Inc. All rights reserved L R 16

17.

ステレオレンダリングについて • Single Pass Instanced • カメラのIDが取得できる • Multi Pass • カメラの座標からカメラIDを識別 • Three.js(WebXR) • カメラごとのLayerをオブジェクトに設定 • Left : Layer1 • Right : Layer2 • 左右それぞれにオブジェクトを用意する Copyright© HoloLab Inc. All rights reserved 17

18.

空間ビデオをマルチデバイスで視聴したい -空間ビデオから他のステレオデータ形式への変換 Copyright© HoloLab Inc. All rights reserved 18

19.

空間ビデオからの変換処理 Side by Side Left Audio Spatial Video Right Top and Bottom Copyright© HoloLab Inc. All rights reserved 19

20.

他のステレオデータを空間ビデオとして視聴したい -他のステレオデータ形式の動画から空間ビデオへの変換 Copyright© HoloLab Inc. All rights reserved 20

21.

空間ビデオへの変換処理 Audio Left メタ情報 ・水平視野角 ・水平視差調整 ・2D表示時に左右 Right Spatial Video どちらを主とするか ・・・等 Copyright© HoloLab Inc. All rights reserved 21

22.

空間ビデオへの変換処理 Audio Left メタ情報 Spatial Video ・水平視野角 Spatial Video ・水平視差調整 ・2D表示時に左右 Right どちらを主とするか ・・・等 Copyright© HoloLab Inc. All rights reserved 22

23.

マルチデバイスでのステレオレンダリング -空間的なレンダリングについて Copyright© HoloLab Inc. All rights reserved 23

24.

レンダリング • 空間ビデオの空間的な部分について 空間ビデオがこれまでの 立体視できる映像以上に、 より空間感をもたらしている 特徴的な視覚効果 Copyright© HoloLab Inc. All rights reserved 24

25.

レンダリング • Spatial VideoのSpatialな部分について ここ Copyright© HoloLab Inc. All rights reserved 25

26.

レンダリングの実装について マルチパス処理(Unity Built-in Render Pipeline) Copyright© HoloLab Inc. All rights reserved 26

27.

レンダリングの実装について URP対応 Copyright© HoloLab Inc. All rights reserved 27

28.

Unityでの実装 Copyright© HoloLab Inc. All rights reserved 28

29.

Webでの実装 Copyright© HoloLab Inc. All rights reserved 29

30.

空間ビデオの作成 Copyright© HoloLab Inc. All rights reserved 30

31.

Unityで作成したシーンを 空間ビデオとして視聴したい Copyright© HoloLab Inc. All rights reserved 31

32.

空間ビデオの作成 • Unityでのレコーディング(Timelineでの制御) PD:60mm としたときの 左右のカメラの設定 左右のカメラの レコーディングの 開始、終了を 合わせる Copyright© HoloLab Inc. All rights reserved 32

33.

空間ビデオの作成 • Recorder Windowからのレコーディング Copyright© HoloLab Inc. All rights reserved 33

34.

Unityから作成した空間ビデオを視聴している様子 Left Right Copyright© HoloLab Inc. All rights reserved 34

35.

空間ビデオの活用/ユースケース Copyright© HoloLab Inc. All rights reserved 35

36.

単眼カメラで撮影された画像や動画を 空間ビデオ/ステレオビジョンで視聴したい Copyright© HoloLab Inc. All rights reserved 36

37.

単眼画像からステレオ画像の生成 Copyright© HoloLab Inc. All rights reserved 37

38.

昔の映像を空間ビデオ/ステレオビジョンで 視聴したい Copyright© HoloLab Inc. All rights reserved 38

39.

昔の映像の復元 • フリッカーノイズ除去 • Colorize(彩色) • Super-Resolution(超解像度化) • Frame-Interpolation(フレーム補完による高フレームレート化) Copyright© HoloLab Inc. All rights reserved 39

40.

昔の映像の復元 • 元動画との比較 Copyright© HoloLab Inc. All rights reserved 40

41.

昔の映像のステレオ化 Copyright© HoloLab Inc. All rights reserved 41

42.

昔の映像の空間ビデオ化 Copyright© HoloLab Inc. All rights reserved 42

43.

Unityでのレンダリング Copyright© HoloLab Inc. All rights reserved 43

44.

Webでのレンダリング Copyright© HoloLab Inc. All rights reserved 44

45.

まとめ(林) • このセッションを通じて、空間ビデオの魅力や可能性を感じて、 一緒に取り組んでくれるパートナーを社内外に見つけていきたい。 • 活用方法案 • 自分で撮影した動画の視聴/変換サービス o IPhoneで撮った空間ビデオをVRデバイスで視聴 o 通常の動画を空間ビデオ化 o 歴史/思い出映像を空間ビデオ化 o 空間ライブ配信/オンデマンド配信 o 臨場感が期待される動画 ▪ 音楽ライブ/VTuber/個人配信 ▪ ▪ スポーツ/ゲーム実況 学習/教育 o プレミアムな体験 ▪ クラウドレンダリング o クラウドゲーミングを空間ビデオフォーマットで配信 • 興味がある人声かけください Copyright© HoloLab Inc. All rights reserved 45