3.7K Views
May 16, 24
スライド概要
2024/4/18に実施されたHololab Conference 2024のセッションスライドです。
■セッションアーカイブはこちら
https://www.youtube.com/playlist?list=PLcIuMEVR3eYegP17SKG_UPgERmmGStEr_
ーーー
■公式HP
https://hololab.co.jp/
■公式Twitter
https://twitter.com/HoloLabInc
空間ビデオの紹介と活用について 2024年4月 株式会社ホロラボ 林 知樹 / 清水 雄大 Copyright© HoloLab Inc. All rights reserved 1
自己紹介1 • 林 知樹 o株式会社ホロラボ所属 o執行役員/TMTグループ • Web系システムエンジニア • HoloLensに出会う • Unityなど • 自社パッケージ ▪ Holo-Commucation 開発してました Copyright© HoloLab Inc. All rights reserved 2
自己紹介2 • 清水 雄大 • 株式会社ホロラボ所属 • ソフトウェアエンジニア/TMTグループ • 油絵科卒 • インタラクティブコンテンツ開発 • XRアプリケーション開発 • 画像処理 ・・・等 Copyright© HoloLab Inc. All rights reserved 3
このセッションの概要 •「空間ビデオの紹介と活用について」 (20分) oApple Vision Pro の発売に合わせて 3次元で動画再生ができる空間ビデオが登場しました。 oApple HEVC Stereo Video/Spatial Videoとも呼ばれます。 o空間ビデオの特徴や作成方法について、 ホロラボで調査/開発した内容を紹介します。 oこのセッションを通じて、空間ビデオの魅力や可能性を感じて、 一緒に取り組んでくれるパートナーを社内外に見つけていきたい。 Copyright© HoloLab Inc. All rights reserved 4
ホロコミュニケーションについて 自社パッケージ製品、HOLO-COMMUNICATION(ホロコミュニケーション) は、 遠隔参加者の前に設置した 3D センサーにより 3D 立体映像をリアルタイムで目の前に出現させ、 音声やジェスチャーでコミュニケーションできる 3D立体映像遠隔コミュニケーションシステム。 https://hololab.co.jp/holo-communication/ Copyright© HoloLab Inc. All rights reserved 5
3D 立体映像配信 • 3D 立体映像をやってみて • 良いところ o 実在感が増す。 o 相手の存在を感じることができる。 o 音声と組み合わせることも重要。 o 録画/再生ができるのは便利 • やってみての課題 o ヘッドマウントディスプレイを相互に装着すると、お互いの顔が見えない。 o スペックの限界 ▪ ネットワーク帯域 • 3Dデータのライブ配信には、多くのネットワーク帯域が必要 ▪ レンダリング時のCPU/GPU負荷 • 描画はできても、他コンテンツとの同時再生の余裕は無い。 ▪ 画像の解像度 • 実寸大で表示すると解像度の粗さが目立つ Copyright© HoloLab Inc. All rights reserved 6
空間ビデオについて • 空間ビデオは3次元動画のフォーマットである。 oApple が Vision Pro とともに発表 o撮影デバイス ▪ iPhone 15 Pro(Max)およびApple Vison Pro o視聴デバイス ▪ Apple Vison Pro • https://www.apple.com/jp/newsroom/2023/12/apple-introduces-spatial-video-capture-on-iphone-15-pro/ Copyright© HoloLab Inc. All rights reserved 7
空間ビデオの注目ポイント1 • 空間ビデオは再生方法にも特徴があります。 • 音と、映像が その場に定位している • ぼかし方 Copyright© HoloLab Inc. All rights reserved 8
空間ビデオの注目ポイント2 • Appleは「空間」のコンテキストを重視している o空間コンピューティング (Apple Vison Pro) o空間オーディオ (Air Pods/Pro) o空間ビデオ (iPhone 15 Pro/Apple Vision Pro) o空間ビデオを理解することで、Appleの空間コンピューティングのコ ンテキストの理解を深めることができるのではないか? Copyright© HoloLab Inc. All rights reserved 9
フォーマット仕様書 • フォーマットとして MV-HEVC という https://developer.apple.com/av-foundation/Stereo-Video-ISOBMFF-Extensions.pdf Copyright© HoloLab Inc. All rights reserved 10
ホロラボの空間ビデオの取り組み • 空間ビデオの魅力をさらに広げる3つの取り組みを研究開発 1.空間ビデオの作成/変換 ▪ CG空間を空間ビデオ ▪ 2D映像を空間ビデオ • 普通のカメラで空間ビデオ 2.空間ビデオの視聴 • WebXRで空間ビデオ再生 • Unity内で空間ビデオ再生 3.空間ビデオの配信(予定) • ストリーミング配信(ライブ/アーカイブ) Copyright© HoloLab Inc. All rights reserved 11
具体的な取り組みについては 清水さんお願いします Copyright© HoloLab Inc. All rights reserved 12
ステレオデータの視聴について • ステレオスコープ • アナグリフ • 偏光方式 • (対応した表示システムとセット) • アクティブシャッター方式 • (対応した表示システムとセット) • パララックスバリア方式 ・・・等 Copyright© HoloLab Inc. All rights reserved 13
空間ビデオの紹介 • Vision ProでSpatial Videoを視聴している様子と QuestでSpatial Videoを視聴している様子の比較 Copyright© HoloLab Inc. All rights reserved 14
マルチデバイスでのステレオレンダリング -ステレオデータについて Copyright© HoloLab Inc. All rights reserved 15
ステレオデータ(テクスチャについて) • ステレオデータの形式 Top and Bottom Texture2DArray Side by Side L L R Index:0 R Index:1 Copyright© HoloLab Inc. All rights reserved L R 16
ステレオレンダリングについて • Single Pass Instanced • カメラのIDが取得できる • Multi Pass • カメラの座標からカメラIDを識別 • Three.js(WebXR) • カメラごとのLayerをオブジェクトに設定 • Left : Layer1 • Right : Layer2 • 左右それぞれにオブジェクトを用意する Copyright© HoloLab Inc. All rights reserved 17
空間ビデオをマルチデバイスで視聴したい -空間ビデオから他のステレオデータ形式への変換 Copyright© HoloLab Inc. All rights reserved 18
空間ビデオからの変換処理 Side by Side Left Audio Spatial Video Right Top and Bottom Copyright© HoloLab Inc. All rights reserved 19
他のステレオデータを空間ビデオとして視聴したい -他のステレオデータ形式の動画から空間ビデオへの変換 Copyright© HoloLab Inc. All rights reserved 20
空間ビデオへの変換処理 Audio Left メタ情報 ・水平視野角 ・水平視差調整 ・2D表示時に左右 Right Spatial Video どちらを主とするか ・・・等 Copyright© HoloLab Inc. All rights reserved 21
空間ビデオへの変換処理 Audio Left メタ情報 Spatial Video ・水平視野角 Spatial Video ・水平視差調整 ・2D表示時に左右 Right どちらを主とするか ・・・等 Copyright© HoloLab Inc. All rights reserved 22
マルチデバイスでのステレオレンダリング -空間的なレンダリングについて Copyright© HoloLab Inc. All rights reserved 23
レンダリング • 空間ビデオの空間的な部分について 空間ビデオがこれまでの 立体視できる映像以上に、 より空間感をもたらしている 特徴的な視覚効果 Copyright© HoloLab Inc. All rights reserved 24
レンダリング • Spatial VideoのSpatialな部分について ここ Copyright© HoloLab Inc. All rights reserved 25
レンダリングの実装について マルチパス処理(Unity Built-in Render Pipeline) Copyright© HoloLab Inc. All rights reserved 26
レンダリングの実装について URP対応 Copyright© HoloLab Inc. All rights reserved 27
Unityでの実装 Copyright© HoloLab Inc. All rights reserved 28
Webでの実装 Copyright© HoloLab Inc. All rights reserved 29
空間ビデオの作成 Copyright© HoloLab Inc. All rights reserved 30
Unityで作成したシーンを 空間ビデオとして視聴したい Copyright© HoloLab Inc. All rights reserved 31
空間ビデオの作成 • Unityでのレコーディング(Timelineでの制御) PD:60mm としたときの 左右のカメラの設定 左右のカメラの レコーディングの 開始、終了を 合わせる Copyright© HoloLab Inc. All rights reserved 32
空間ビデオの作成 • Recorder Windowからのレコーディング Copyright© HoloLab Inc. All rights reserved 33
Unityから作成した空間ビデオを視聴している様子 Left Right Copyright© HoloLab Inc. All rights reserved 34
空間ビデオの活用/ユースケース Copyright© HoloLab Inc. All rights reserved 35
単眼カメラで撮影された画像や動画を 空間ビデオ/ステレオビジョンで視聴したい Copyright© HoloLab Inc. All rights reserved 36
単眼画像からステレオ画像の生成 Copyright© HoloLab Inc. All rights reserved 37
昔の映像を空間ビデオ/ステレオビジョンで 視聴したい Copyright© HoloLab Inc. All rights reserved 38
昔の映像の復元 • フリッカーノイズ除去 • Colorize(彩色) • Super-Resolution(超解像度化) • Frame-Interpolation(フレーム補完による高フレームレート化) Copyright© HoloLab Inc. All rights reserved 39
昔の映像の復元 • 元動画との比較 Copyright© HoloLab Inc. All rights reserved 40
昔の映像のステレオ化 Copyright© HoloLab Inc. All rights reserved 41
昔の映像の空間ビデオ化 Copyright© HoloLab Inc. All rights reserved 42
Unityでのレンダリング Copyright© HoloLab Inc. All rights reserved 43
Webでのレンダリング Copyright© HoloLab Inc. All rights reserved 44
まとめ(林) • このセッションを通じて、空間ビデオの魅力や可能性を感じて、 一緒に取り組んでくれるパートナーを社内外に見つけていきたい。 • 活用方法案 • 自分で撮影した動画の視聴/変換サービス o IPhoneで撮った空間ビデオをVRデバイスで視聴 o 通常の動画を空間ビデオ化 o 歴史/思い出映像を空間ビデオ化 o 空間ライブ配信/オンデマンド配信 o 臨場感が期待される動画 ▪ 音楽ライブ/VTuber/個人配信 ▪ ▪ スポーツ/ゲーム実況 学習/教育 o プレミアムな体験 ▪ クラウドレンダリング o クラウドゲーミングを空間ビデオフォーマットで配信 • 興味がある人声かけください Copyright© HoloLab Inc. All rights reserved 45