ビデオパススルーを活用したデジタルミュージアムのご紹介

1.4K Views

May 16, 24

スライド概要

2024/4/18に実施されたHololab Conference 2024のセッションスライドです。

■セッションアーカイブはこちら
https://www.youtube.com/playlist?list=PLcIuMEVR3eYegP17SKG_UPgERmmGStEr_

ーーー
■公式HP
https://hololab.co.jp/

■公式Twitter
https://twitter.com/HoloLabInc

profile-image

ホロラボです Unityを使用したHoloLensのアプリ開発を中心にしています。 最近では建設業でのBIMデータ、製造業でのCAD データ、空間の3Dスキャン(点群データやメッシュデータ)も扱っています。 物理世界とデジタル世界をどのように連携するか。ということを日々考えています。

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

ビデオパススルーを活用した デジタルミュージアムのご紹介 Playful Fields すまのべ! 田野 哲也

2.

登壇者紹介 た の てつ や 田野 哲也 ソフトウェアエンジニア Playful Fields すまのべ! Unityを中心にXR系コンテンツの 開発をやっています。 Copyright© HoloLab Inc. All rights reserved 2

3.

ビデオパススルーとデジタルミュージアム Copyright© HoloLab Inc. All rights reserved 3

4.

ビデオパススルーによるMR カメラで取得した現実の映像をリアルタイムに表示することで VRゴーグルを装着している状態でも周囲を見ることができる技術。 CGを重ねることでAR/MR表現も可能となる。 CGのキャラ 視界をふさぐ VRゴーグル 自分の手や コントローラもCG 背景はカメラを 通して見る現実 引用: https://www.youtube.com/watch?v=MkLM8wtjrhE Copyright© HoloLab Inc. All rights reserved 4

5.

光学シースルー型との比較 光学シースルー型HMDの例 〇 表示コンテンツが半透明にならない 〇 明るいところでもはっきり見える HoloLens 2 △現実の映像に遅延やズレが発生する △現実の映像の解像度が低い × 電源が切れると急に見えなくなる XREAL Air 2 Copyright© HoloLab Inc. All rights reserved 5

6.

Meta Quest 3 2023年10月10日にMeta Quest 3発売。 VRとしての性能アップだけではなく、高解像度のRGBカメラ搭載による フルカラーのビデオパススルーの利用が可能となった。 高解像度 低遅延 実用的なクオリティ ずれが少ない 低価格 導入が現実的 購入が容易 Copyright© HoloLab Inc. All rights reserved 6

7.

デジタルミュージアム デジタルミュージアム【digital museum】 出典:デジタル大辞典(小学館) 絵画や彫刻などの芸術作品や、歴史、民族などのさまざまな資料を デジタルデータに変換して保管し、電子ネットワーク上で閲覧できる美術館や博物館のこと。 文化庁でも「ミュージアムDX」としてデジタルアーカイブ化やデジタルミュージアムの推進をしている。 引用: https://www.bunka.go.jp/gyoji/pdf/93906901_02.pdf Copyright© HoloLab Inc. All rights reserved 7

8.

デジタルミュージアムのメリット 展示会場に収まらない巨大な展示物の展示 巨大な展示物をどこにでも移設 展示物破壊の恐れがないため、自由な位置からの鑑賞 ナレーションに合わせた展示物への視線誘導 現実では不可能な表現(空中浮遊、CGによる演出追加、動き出すなど) 現実に存在する展示物などに合わせた表現 Copyright© HoloLab Inc. All rights reserved 8

9.

事例紹介 Copyright© HoloLab Inc. All rights reserved 9

10.

事例紹介 群馬デジタルミュージアムLAB 施主:群馬県 元請:TOPPAN株式会社 体験コンテンツ実装:株式会社ホロラボ Copyright© HoloLab Inc. All rights reserved 10

11.

群馬デジタルミュージアムLAB 2024年2月1日~3月1日 群馬県庁 昭和庁舎内 特設会場 3Dスキャンによってデジタルアーカイブされた 骨格標本などを展示。 体験者にMeta Quest 3を装着後、オペレーターが コントローラのスタートボタンを押すと、以降は自動的に シナリオが進むため、体験者は最後まで単独で体験可能。 Copyright© HoloLab Inc. All rights reserved 引用: https://www.pref.gunma.jp/page/620893.html 11

12.

群馬デジタルミュージアムLAB 会場の様子 Copyright© HoloLab Inc. All rights reserved 12

13.

群馬デジタルミュージアムLAB イメージ 受付 Copyright© HoloLab Inc. All rights reserved 13

14.

群馬デジタルミュージアムLAB Copyright© HoloLab Inc. All rights reserved 14

15.

事例紹介 岐阜かかみがはら航空宇宙博物館 MRコンテンツ 施主:岐阜県 元請:株式会社乃村工藝社 CGコンテンツ企画制作:株式会社アクロス 体験コンテンツ実装:株式会社ホロラボ Copyright© HoloLab Inc. All rights reserved 15

16.

岐阜かかみがはら航空宇宙博物館 MRコンテンツ 2024年3月25日~29日/4月1日~5日 岐阜かかみがはら航空宇宙博物館 館内 ISS(国際宇宙ステーション)の実物大モデルの閲覧や 微小重力下での物理現象や実験を体験。 3~4人を1グループとして複数人同時にMeta Quest 3を装着。 オペレーターは体験者の状況確認と安全確認をしつつ 専用ツール(Androidアプリ)からネットワーク経由でシナリオ 進行の指示を出すことで、すべての体験者のシナリオが 同時に進んでいく。 引用:https://www.sorahaku.net/event/iss-with-mr/ Copyright© HoloLab Inc. All rights reserved 引用: https://twitter.com/SORAHAKU324/ 16

17.

岐阜かかみがはら航空宇宙博物館 MRコンテンツ 会場の様子 Copyright© HoloLab Inc. All rights reserved 17

18.

岐阜かかみがはら航空宇宙博物館 MRコンテンツ イメージ 1号機 2号機 3号機 4号機 オープニング画面 オープニング画面 オープニング画面 タイトル画面 リセット 次へ 現在の状態 オープニング画面 オペレーター用ツール イメージ オペレーター Copyright© HoloLab Inc. All rights reserved 18

19.

岐阜かかみがはら航空宇宙博物館 MRコンテンツ Copyright© HoloLab Inc. All rights reserved 19

20.

岐阜かかみがはら航空宇宙博物館 MRコンテンツ Copyright© HoloLab Inc. All rights reserved 20

21.

実現に向けた工夫ポイント Copyright© HoloLab Inc. All rights reserved 21

22.

スキャンデータを使用したオブジェクト配置 会場に合わせたオブジェクト配置を行う必要があるが、調整のたびに現地で確認をとることは難しい →簡易的なスキャンデータを利用してUnity Editor上での配置と位置確認を実施 Scaniverseを使いスキャンしたデータ 現地の形状に合わせたオブジェクト配置が簡単に Copyright© HoloLab Inc. All rights reserved 22

23.

スキャンデータを使用した現地での位置調整 Meta Quest 3はカメラデータを取得できないため、画像マーカーや二次元コード、 VPSなどを利用した位置合わせができない →前述のスキャンデータを半透明で表示し、実物と重ね合わせながら手動で位置合わせをする仕組みを実装 半透明モデルを利用した位置合わせ オクルージョン用モデルとしても利用可能 Copyright© HoloLab Inc. All rights reserved 23

24.

巨大なオブジェクトの表示方法 実物大のISSは大きすぎるため、館内には収まりきらず天井や壁との奥行きに違和感がでてしまう。 →上半分だけ背景を宇宙にして天井や壁を隠すことで奥行きの違和感をなくす一方で、 下半分は現実が見えているので実際の展示物(飛行機など)との大きさの比較ができる。 体験する場所は2F部分なので天井が近い 引用:https://www.sorahaku.net/exhibition/permanent/space/s4/ Copyright© HoloLab Inc. All rights reserved 24

25.

Apple Vision Proとの比較 Copyright© HoloLab Inc. All rights reserved 25

26.

大阪市立自然史博物館公開の3Dモデルによるデモ アロサウルス Allosaurus by 大阪市立自然史博物館 Osaka Museum of Natural History is licensed under Creative Commons Attribution. Copyright© HoloLab Inc. All rights reserved 26

27.

Meta Quest 3と比べると ※不特定多数のユーザーが体験するデジタルミュージアムコンテンツという前提の場合 ◎ 高解像度・低遅延で実在感が大幅アップ △ visionOS標準機能により大きく移動すると半透明になってしまう △ 装着~コンテンツ開始までの運用難易度が高い × 高額であり購入はしにくい ※そもそも現時点では日本では未発売 Copyright© HoloLab Inc. All rights reserved 27

28.

Meta Quest 3と比べると ※現時点では 高解像度からなるクオリティの高さは圧倒的にApple Vision Pro 優位だが、不特定多数のユーザーに体験してもらうコンテンツという 前提の場合、デバイスの価格と購入しやすさから考えると Meta Quest 3が優位。 個人で楽しんでもらうためにApp Storeで配信という形での提供や、 ロイヤルカスタマーなど限られたユーザーを対象とした特別な サービスとしての提供がであればApple Vision Proならではの クオリティを活かしたデジタルミュージアムコンテンツの運用が 可能だと思われる。 Copyright© HoloLab Inc. All rights reserved 28

29.

Meta Quest 3からApple Vision Proへの移殖 Meta Quest 3向けに開発したデジタルミュージアムアプリは Unityを使用しているため、同じくUnity(PolySpatial)での 開発が可能なApple Vision Pro用アプリへのデータ流用が可能。 ただし使用できるのはコンテンツデータ部分のみで、 コントローラーの有無やUIまわりなど、デバイス毎に 異なる部分については最適化を行う必要がある。 Copyright© HoloLab Inc. All rights reserved 29