---
title: 空間ビデオの紹介と活用
tags:  #holoconf24  
author: [ホロラボ](https://www.docswell.com/user/HoloLab)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/DJYGDLV6JM.jpg?width=480
description: 2024/4/18に実施されたHololab Conference 2024のセッションスライドです。  ■セッションアーカイブはこちら https://www.youtube.com/playlist?list=PLcIuMEVR3eYegP17SKG_UPgERmmGStEr_  ーーー ■公式HP https://hololab.co.jp/  ■公式Twitter https://twitter.com/HoloLabInc
published: May 16, 24
canonical: https://www.docswell.com/s/HoloLab/57VW8W-holoconf24_b9
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/DJYGDLV6JM.jpg)

空間ビデオの紹介と活用について
2024年4月
株式会社ホロラボ
林 知樹 / 清水 雄大
Copyright© HoloLab Inc. All rights reserved
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/V7NG64G1E8.jpg)

自己紹介1
• 林 知樹
o株式会社ホロラボ所属
o執行役員/TMTグループ
• Web系システムエンジニア
• HoloLensに出会う
• Unityなど
• 自社パッケージ
▪ Holo-Commucation 開発してました
Copyright© HoloLab Inc. All rights reserved
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/YJ9WLQWYJ3.jpg)

自己紹介2
• 清水 雄大
• 株式会社ホロラボ所属
• ソフトウェアエンジニア/TMTグループ
• 油絵科卒
• インタラクティブコンテンツ開発
• XRアプリケーション開発
• 画像処理
・・・等
Copyright© HoloLab Inc. All rights reserved
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/GJ8NXGNKED.jpg)

このセッションの概要
•「空間ビデオの紹介と活用について」 (20分)
oApple Vision Pro の発売に合わせて
3次元で動画再生ができる空間ビデオが登場しました。
oApple HEVC Stereo Video/Spatial Videoとも呼ばれます。
o空間ビデオの特徴や作成方法について、
ホロラボで調査/開発した内容を紹介します。
oこのセッションを通じて、空間ビデオの魅力や可能性を感じて、
一緒に取り組んでくれるパートナーを社内外に見つけていきたい。
Copyright© HoloLab Inc. All rights reserved
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/LJLP8GPPER.jpg)

ホロコミュニケーションについて
自社パッケージ製品、HOLO-COMMUNICATION（ホロコミュニケーション） は、
遠隔参加者の前に設置した 3D センサーにより 3D 立体映像をリアルタイムで目の前に出現させ、
音声やジェスチャーでコミュニケーションできる 3D立体映像遠隔コミュニケーションシステム。
https://hololab.co.jp/holo-communication/
Copyright© HoloLab Inc. All rights reserved
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/47M46Q42EW.jpg)

3D 立体映像配信
• 3D 立体映像をやってみて
• 良いところ
o 実在感が増す。
o 相手の存在を感じることができる。
o 音声と組み合わせることも重要。
o 録画/再生ができるのは便利
• やってみての課題
o ヘッドマウントディスプレイを相互に装着すると、お互いの顔が見えない。
o スペックの限界
▪ ネットワーク帯域
• 3Dデータのライブ配信には、多くのネットワーク帯域が必要
▪ レンダリング時のCPU/GPU負荷
• 描画はできても、他コンテンツとの同時再生の余裕は無い。
▪ 画像の解像度
• 実寸大で表示すると解像度の粗さが目立つ
Copyright© HoloLab Inc. All rights reserved
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/P7RWP8W5E9.jpg)

空間ビデオについて
• 空間ビデオは３次元動画のフォーマットである。
oApple が Vision Pro とともに発表
o撮影デバイス
▪ iPhone 15 Pro(Max)およびApple Vison Pro
o視聴デバイス
▪ Apple Vison Pro
• https://www.apple.com/jp/newsroom/2023/12/apple-introduces-spatial-video-capture-on-iphone-15-pro/
Copyright© HoloLab Inc. All rights reserved
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/PJXP38PXEX.jpg)

空間ビデオの注目ポイント1
• 空間ビデオは再生方法にも特徴があります。
• 音と、映像が
その場に定位している
• ぼかし方
Copyright© HoloLab Inc. All rights reserved
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/3JKDYKD97D.jpg)

空間ビデオの注目ポイント2
• Appleは「空間」のコンテキストを重視している
o空間コンピューティング (Apple Vison Pro)
o空間オーディオ
(Air Pods/Pro)
o空間ビデオ (iPhone 15 Pro/Apple Vision Pro)
o空間ビデオを理解することで、Appleの空間コンピューティングのコ
ンテキストの理解を深めることができるのではないか？
Copyright© HoloLab Inc. All rights reserved
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/LE3R9ZR975.jpg)

フォーマット仕様書
• フォーマットとして MV-HEVC という
https://developer.apple.com/av-foundation/Stereo-Video-ISOBMFF-Extensions.pdf
Copyright© HoloLab Inc. All rights reserved
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/8EDYGRY8EG.jpg)

ホロラボの空間ビデオの取り組み
• 空間ビデオの魅力をさらに広げる3つの取り組みを研究開発
1.空間ビデオの作成/変換
▪ CG空間を空間ビデオ
▪ 2D映像を空間ビデオ
• 普通のカメラで空間ビデオ
2.空間ビデオの視聴
• WebXRで空間ビデオ再生
• Unity内で空間ビデオ再生
3.空間ビデオの配信(予定)
• ストリーミング配信(ライブ/アーカイブ）
Copyright© HoloLab Inc. All rights reserved
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/V7P63W6WJ8.jpg)

具体的な取り組みについては
清水さんお願いします
Copyright© HoloLab Inc. All rights reserved
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/2JV34839EQ.jpg)

ステレオデータの視聴について
• ステレオスコープ
• アナグリフ
• 偏光方式
• (対応した表示システムとセット)
• アクティブシャッター方式
• (対応した表示システムとセット)
• パララックスバリア方式
・・・等
Copyright© HoloLab Inc. All rights reserved
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/5EG315347L.jpg)

空間ビデオの紹介
• Vision ProでSpatial Videoを視聴している様子と
QuestでSpatial Videoを視聴している様子の比較
Copyright© HoloLab Inc. All rights reserved
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/4JQ5DZ5R7P.jpg)

マルチデバイスでのステレオレンダリング
-ステレオデータについて
Copyright© HoloLab Inc. All rights reserved
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/K749Z39QE1.jpg)

ステレオデータ(テクスチャについて)
• ステレオデータの形式
Top and Bottom
Texture2DArray
Side by Side
L
L
R
Index:0
R
Index:1
Copyright© HoloLab Inc. All rights reserved
L
R
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/LJ1KR1KL7G.jpg)

ステレオレンダリングについて
• Single Pass Instanced
• カメラのIDが取得できる
• Multi Pass
• カメラの座標からカメラIDを識別
• Three.js(WebXR)
• カメラごとのLayerをオブジェクトに設定
• Left : Layer1
• Right : Layer2
• 左右それぞれにオブジェクトを用意する
Copyright© HoloLab Inc. All rights reserved
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/GJWD18DQ72.jpg)

空間ビデオをマルチデバイスで視聴したい
-空間ビデオから他のステレオデータ形式への変換
Copyright© HoloLab Inc. All rights reserved
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/4EZGP8G3J3.jpg)

空間ビデオからの変換処理
Side by Side
Left
Audio
Spatial Video
Right
Top and Bottom
Copyright© HoloLab Inc. All rights reserved
19


# Page. 20

![Page Image](https://bcdn.docswell.com/page/Y76YMPYZEV.jpg)

他のステレオデータを空間ビデオとして視聴したい
-他のステレオデータ形式の動画から空間ビデオへの変換
Copyright© HoloLab Inc. All rights reserved
20


# Page. 21

![Page Image](https://bcdn.docswell.com/page/G75GZKG974.jpg)

空間ビデオへの変換処理
Audio
Left
メタ情報
・水平視野角
・水平視差調整
・2D表示時に左右
Right
Spatial Video
どちらを主とするか
・・・等
Copyright© HoloLab Inc. All rights reserved
21


# Page. 22

![Page Image](https://bcdn.docswell.com/page/9J2YRWY5JR.jpg)

空間ビデオへの変換処理
Audio
Left
メタ情報
Spatial Video
・水平視野角
Spatial Video
・水平視差調整
・2D表示時に左右
Right
どちらを主とするか
・・・等
Copyright© HoloLab Inc. All rights reserved
22


# Page. 23

![Page Image](https://bcdn.docswell.com/page/DEYGDLG6EM.jpg)

マルチデバイスでのステレオレンダリング
-空間的なレンダリングについて
Copyright© HoloLab Inc. All rights reserved
23


# Page. 24

![Page Image](https://bcdn.docswell.com/page/VJNG648178.jpg)

レンダリング
• 空間ビデオの空間的な部分について
空間ビデオがこれまでの
立体視できる映像以上に、
より空間感をもたらしている
特徴的な視覚効果
Copyright© HoloLab Inc. All rights reserved
24


# Page. 25

![Page Image](https://bcdn.docswell.com/page/YE9WLQKYE3.jpg)

レンダリング
• Spatial VideoのSpatialな部分について
ここ
Copyright© HoloLab Inc. All rights reserved
25


# Page. 26

![Page Image](https://bcdn.docswell.com/page/GE8NXGRK7D.jpg)

レンダリングの実装について
マルチパス処理(Unity Built-in Render Pipeline)
Copyright© HoloLab Inc. All rights reserved
26


# Page. 27

![Page Image](https://bcdn.docswell.com/page/LELP8GKP7R.jpg)

レンダリングの実装について
URP対応
Copyright© HoloLab Inc. All rights reserved
27


# Page. 28

![Page Image](https://bcdn.docswell.com/page/4JM46Q227W.jpg)

Unityでの実装
Copyright© HoloLab Inc. All rights reserved
28


# Page. 29

![Page Image](https://bcdn.docswell.com/page/PJRWP8M579.jpg)

Webでの実装
Copyright© HoloLab Inc. All rights reserved
29


# Page. 30

![Page Image](https://bcdn.docswell.com/page/PEXP38VX7X.jpg)

空間ビデオの作成
Copyright© HoloLab Inc. All rights reserved
30


# Page. 31

![Page Image](https://bcdn.docswell.com/page/3EKDYKQ9JD.jpg)

Unityで作成したシーンを
空間ビデオとして視聴したい
Copyright© HoloLab Inc. All rights reserved
31


# Page. 32

![Page Image](https://bcdn.docswell.com/page/L73R9ZP9J5.jpg)

空間ビデオの作成
• Unityでのレコーディング(Timelineでの制御)
PD:60mm
としたときの
左右のカメラの設定
左右のカメラの
レコーディングの
開始、終了を
合わせる
Copyright© HoloLab Inc. All rights reserved
32


# Page. 33

![Page Image](https://bcdn.docswell.com/page/87DYGRL87G.jpg)

空間ビデオの作成
• Recorder Windowからのレコーディング
Copyright© HoloLab Inc. All rights reserved
33


# Page. 34

![Page Image](https://bcdn.docswell.com/page/VJP63W2WE8.jpg)

Unityから作成した空間ビデオを視聴している様子
Left
Right
Copyright© HoloLab Inc. All rights reserved
34


# Page. 35

![Page Image](https://bcdn.docswell.com/page/2EV348D97Q.jpg)

空間ビデオの活用/ユースケース
Copyright© HoloLab Inc. All rights reserved
35


# Page. 36

![Page Image](https://bcdn.docswell.com/page/57G315Y4JL.jpg)

単眼カメラで撮影された画像や動画を
空間ビデオ/ステレオビジョンで視聴したい
Copyright© HoloLab Inc. All rights reserved
36


# Page. 37

![Page Image](https://bcdn.docswell.com/page/4EQ5DZMRJP.jpg)

単眼画像からステレオ画像の生成
Copyright© HoloLab Inc. All rights reserved
37


# Page. 38

![Page Image](https://bcdn.docswell.com/page/KJ49Z3VQ71.jpg)

昔の映像を空間ビデオ/ステレオビジョンで
視聴したい
Copyright© HoloLab Inc. All rights reserved
38


# Page. 39

![Page Image](https://bcdn.docswell.com/page/LE1KR13LJG.jpg)

昔の映像の復元
• フリッカーノイズ除去
• Colorize(彩色)
• Super-Resolution(超解像度化)
• Frame-Interpolation(フレーム補完による高フレームレート化)
Copyright© HoloLab Inc. All rights reserved
39


# Page. 40

![Page Image](https://bcdn.docswell.com/page/GEWD18PQJ2.jpg)

昔の映像の復元
• 元動画との比較
Copyright© HoloLab Inc. All rights reserved
40


# Page. 41

![Page Image](https://bcdn.docswell.com/page/47ZGP8K3E3.jpg)

昔の映像のステレオ化
Copyright© HoloLab Inc. All rights reserved
41


# Page. 42

![Page Image](https://bcdn.docswell.com/page/YJ6YMPQZ7V.jpg)

昔の映像の空間ビデオ化
Copyright© HoloLab Inc. All rights reserved
42


# Page. 43

![Page Image](https://bcdn.docswell.com/page/GJ5GZKR9J4.jpg)

Unityでのレンダリング
Copyright© HoloLab Inc. All rights reserved
43


# Page. 44

![Page Image](https://bcdn.docswell.com/page/LE3R9ZP275.jpg)

Webでのレンダリング
Copyright© HoloLab Inc. All rights reserved
44


# Page. 45

![Page Image](https://bcdn.docswell.com/page/8EDYGRL6EG.jpg)

まとめ(林)
• このセッションを通じて、空間ビデオの魅力や可能性を感じて、
一緒に取り組んでくれるパートナーを社内外に見つけていきたい。
• 活用方法案
• 自分で撮影した動画の視聴/変換サービス
o IPhoneで撮った空間ビデオをVRデバイスで視聴
o 通常の動画を空間ビデオ化
o 歴史/思い出映像を空間ビデオ化
o 空間ライブ配信/オンデマンド配信
o 臨場感が期待される動画
▪ 音楽ライブ/VTuber/個人配信
▪
▪
スポーツ/ゲーム実況
学習/教育
o プレミアムな体験
▪ クラウドレンダリング
o クラウドゲーミングを空間ビデオフォーマットで配信
• 興味がある人声かけください
Copyright© HoloLab Inc. All rights reserved
45


# Page. 46

![Page Image](https://bcdn.docswell.com/page/V7P63W4ZJ8.jpg)