Snapdragon Spaces v0.14.0 - Dual Render Fusionについて

2.2K Views

June 21, 23

スライド概要

XRミーティング 2023/06/21 (https://osaka-driven-dev.connpass.com/event/284401/)登壇資料。
先日アナウンスされた Snapdragon Spaces v0.14.0のDual Render Fusionの機能についての紹介をしました。
サンプルの動かし方などは以下のサイトで公開しています。
https://zenn.dev/miyaura/articles/9a4404ecc7a8a8

profile-image

ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。 社内ではXR関連技術に関する啓もう活動や技術支援に従事。 業務の傍ら、XR(特にMixed Reality領域)についての開発技術の調査、開発などを行っています。 また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

Snapdragon Spaces v0.14.0 Dual Render Fusionについて 2023/06 XRミーティング takabrz1 Takahiro Miyaura

2.

Microsoft MVP for Mixed Reality 2018-2023 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず)= XRは趣味です(貢献領域:Mixed Reality) 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近は ✓ ✓ Mixed Reality Toolkit 3とか Snapdragon Spacesとか戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

3.

本日の内容 引続きです。 これ もう少ししたら、MRTK連携の方にハマりたい 2023/6/21 Copyright © 2023 Takahiro Miyaura 3

4.

岩本さんにお土産としてもらったノベルティ 今日の話は先日アナウンスされた新しい機能? 2023/6/21 Copyright © 2023 Takahiro Miyaura 4

5.

Lenovo Think Reality A3とは 2023/6/21 Copyright © 2023 Takahiro Miyaura 5

6.

Lenovoの手がけるARグラス いわゆる投影部分が眼鏡型 Key Features: •Snapdragon XR-1 SmartView •Lightweight AR Glasses – <130g •Binocular 1080p resolution displays •8MP RGB Camera •Dual fish-eye cameras for 6DOF tracking •Integrated speakers and microphones •USB Type C, USB 3.1 •DisplayPort v1.4 compliant •Lenovo integrated solution support 同じような投影部分が眼鏡Nreal Light/Air ○ スマホや演算ユニットが別 スマホはMotorola製(開発キットに付属) Snapdragon SpacesというAR開発プラットフォーム対応機器という位置づけ 2023/6/21 Copyright © 2023 Takahiro Miyaura 6

7.

Snapdragon Spaces 名前から想像される通りのクアルコムが手掛けるサービス マートフォン接続のARグラスのデバイス設計、ARグラス向け3Dアプリケーション 開発・商用化を支援するプラットフォーム 基本機能 ○ Positional Tracking 操作系 ○ Gaze Controller 環境(空間)認識 ○ Plane Detection ○ Local Spatial Anchors ○ Companion Controller ○ Image Tracking ○ Hit Testing ○ Hand Tracking ○ 6DOFによる自己位置推定 ○ 現実空間との位置合わせ ○ 現実空間とのオクルージョン等 ○ 頭の向きでフォーカスや決定 ○ スマホを3DOFコントローラ化 ○ 平面検知 ○ 画像マーカー ○ ハンドトラッキング OpenXR準拠のランタイムと様々なOpenXR拡張機能として提供されている 2023/6/21 Copyright © 2023 Takahiro Miyaura 7

8.

Snapdragon Spaces 最近V0.14.0にアップデートされた ○空間メッシュ系に関する機能追加 ○サンプルコードの見直し(機能や規約) ○一部破壊的アップデートの発生 ○いくつかのバグ修正 ○別パッケージで提供 ○Dual Render Fusion 2023/6/21 本日はこちら Copyright © 2023 Takahiro Miyaura 8

9.

Snapdragon Spaces Dual Render Fusionとは 2023/6/21 Copyright © 2023 Takahiro Miyaura 9

10.

Snapdragon Spaces Dual Render Fusionとは Smart Phone接続型のARグラス向けの機能(ヘッドセット向けではない) ○Dual Render Fusion 2つの 描画を 融合する 1つのコンテンツ Smart Phoneの画面描画とARグラスの空間描画を 1つのコンテンツの中で使える仕組み 2023/6/21 Copyright © 2023 Takahiro Miyaura 10

11.

Snapdragon Spaces 普段のARグラスでコンテンツ作った場合 Snapdragon Spacesの場合、コントローラは独立したネイティブアプリ Smart Phone ARグラス Motion Controller (OpenXR) 操作をコンテンツに反映 Smart Phoneをネイティブアプリとして 3Dofモーションコントローラ化している 2023/6/21 Copyright © 2023 Takahiro Miyaura Smart Phone タッチパッド操作 11

12.

Snapdragon Spaces Dual Render Fusionを使うと。。。 1つのUnityアプリとしてARグラスとSmart Phoneのディスプレイを使える ARグラス描画領域 1コンテンツで実装 Smart Phone描画領域 Smart Phone側もUnityで実装可能に より柔軟なUIやUXを実現できる! 2023/6/21 Copyright © 2023 Takahiro Miyaura 12

13.

Snapdragon Spaces Dual Render Fusionサンプル パッケージに含まれているサンプルの動作 2023/6/21 Copyright © 2023 Takahiro Miyaura 13

14.

Snapdragon Spaces Dual Render Fusionサンプル Cube Manipulation ○ タッチパッド操作 2023/6/21 Copyright © 2023 Takahiro Miyaura 14

15.

Snapdragon Spaces Dual Render Fusionサンプル Controller Prefab Sample Scene ○ ネイティブコントロー ラをPrefab化 2023/6/21 Copyright © 2023 Takahiro Miyaura 15

16.

Snapdragon Spaces Dual Render Fusionサンプル Landscape UI Sample Scene ○ 横置きUI操作のサンプル ○ UGUIでUIを構築 ○ コンテンツ内の空間は共通 ○ Cubeの操作が両方に反映される 2023/6/21 Copyright © 2023 Takahiro Miyaura 16

17.

Snapdragon Spaces Dual Render Fusionサンプル Portrait UI Sample Scene ○ 縦置きUI操作のサンプル ○ UGUIでUIを構築 ○ ARグラスのミラーリングも (コンテンツのみ) ○ コンテンツ内の空間は共通 ○ Cubeの操作が両方に反映される 2023/6/21 Copyright © 2023 Takahiro Miyaura 17

18.

Snapdragon Spaces Dual Render Fusionサンプル Dynamic OpenXR Loader ○ 動的にOpenXRの機能を制御 ○ 必要な時だけARグラス利用も可能に 通常はスマホアプリとして提供 ARグラス繋げばよりリッチな体験 といったこともできそう 2023/6/21 Copyright © 2023 Takahiro Miyaura 18

19.

Dual Render Fusion Unity内の仕組み 2023/6/21 Copyright © 2023 Takahiro Miyaura 19

20.

Dual Render Fusion Unity内の仕組み Depth : 0 Target Display : Display 1 Target Eye : Both Cameraを2つ使って実現している ARグラス用Camera ※AR Session Originに設定されていること Smart Phone用のCamera Depth : 1 Target Display : Display 1 Target Eye : None 2023/6/21 Copyright © 2023 Takahiro Miyaura 20

21.

Dual Render Fusion Unity内の仕組み Smart Phone側だけに出す例 カメラ毎に表示オブジェクトを 制御する方法が使える サンプルにもあったメニュー部品 Overlay設定 ディスプレイに直接表示 ※Overlay設定であればARグラスでは 描画されないハックを利用 Target Display は 「Display 1」 2023/6/21 Copyright © 2023 Takahiro Miyaura 21

22.

Dual Render Fusion Unity内の仕組み Smart Phone側だけに出す例 カメラ毎に表示オブジェクトを 制御する方法が使える サンプルにもあったメニュー部品 Overlay設定 ディスプレイに直接表示 ※Overlay設定であればARグラスでは 描画されないハックを利用 Target Display は 「Display 1」 2023/6/21 Copyright © 2023 Takahiro Miyaura 22

23.

気づき(まとめ) 2023/6/21 Copyright © 2023 Takahiro Miyaura 23

24.

Snapdragon Space - Dual Render Fusion 気づき ✓ ARグラスとSmart Phoneの描画を1つのコンテンツとして扱える ✓ つまり、Smart Phone接続型のARグラスをフル活用できる ✓ ✓ ✓ 従来はARグラスが主体でSmart Phoneは演算装置や、簡易コントローラ扱い 必要に応じてARグラスを使うといったスマホアプリの拡張的な利用も サンプルのOpenXR動的ローダーは興味深い ✓ 必要な時だけARグラス使うスマホアプリを構築できる ✓ Unity実装について ✓ ✓ ✓ Smart PhoneとARグラス用にCameraを用意 Camera毎にコンテンツ描画 V0.14.0は上記実装を実現するためのルール定義とサンプル提供のみ スマホ接続型ARグラスというジャンルならではの コンテンツが作成できるようになる魅力 2023/6/21 Copyright © 2023 Takahiro Miyaura 24

25.

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ