お正月に調べていたこと(Mixed Reality Template, Snapdragon Spaces, MRTK3 on Magic Leap 2)

1.8K Views

January 17, 24

xrmtg mixed reality mrtk3 unity hololens snapdragon spaces magic leap 2

スライド概要

XRミーティング 2024/01/17【AR/CR/MR/SR/VR】(https://osaka-driven-dev.connpass.com/event/306460/)登壇資料。
年末年始にかけていくつかのプラットフォームやデバイスの調査を行ったので、その情報を共有。
①Unity 2022系で追加されたMixed Reality TemplateをHoloLens 2で検証、②Snapdragon Spaces v0.19.0がリリースされた、 ③Magic Leap 2をようやく手に入れたのでMRTK3を実際に動かしてみた。

Miyaura

@m-taka596

スライド一覧

ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。社内ではXR関連技術に関する啓もう活動や技術支援に従事。業務の傍ら、XR（特にMixed Reality領域）についての開発技術の調査、開発などを行っています。また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 1.51MB)

関連スライド

OpenVRやOpenXRの基本的なことを調べてみた

xrmtg openxr openvr hololens

Miyaura 16.9K

冬休みの宿題 - Lenovo Think Reality A3で検証(MRTK3含)

xrmtg mrtk3 mixed reality snapdragon spaces thinki reality a3

Miyaura 9.8K

MRTK3をLenovoのThink Reality A3上で動かす - Snapdragon Spaces SDKの紹介

hololens ホロマジ snapdragonspaces mrtk3 xr unity

Miyaura 6.7K

今更ですがちょっとMetaQuest3でMRTK3触ってみました

mixed reality xrmtg mrtk3 unity

Miyaura 5.5K

Snapdragon Spaces v0.12.0 for Unityの調査(あれも試してみてる)

xrmtg mrtk3 mixed reality snapdragon spaces think reality a3

Miyaura 5K

Mixed Reality Toolkit で OpenXRのEye Trackingを使う

hololens openxr

Miyaura 4.6K

各ページのテキスト

お正月に調べていたこと Unity とか Snapdragon Spacesとか Magic Leap 2とか 2024/01 XRミーティング @takabrz1 Takahiro Miyaura

今日は色々なプラットフォームの Unity開発あれこれ @takabrz1 Takahiro Miyaura

Microsoft MVP for Mixed Reality 2018-2024 XRは趣味です宮浦恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近は ✓ ✓ Mixed Reality Toolkit v3.0.0(GAされた！) Snapdragon Spacesとか戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる技術Tips : https://qiita.com/miyaura https://zenn.dev/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

Mixed Reality Templateとは Unity 2022.3系から提供されているプロジェクトテンプレート https://docs.unity3d.com/Packages/com.unity.template.mixed-reality@1.0/manual/index.html ○サポートデバイス ○Oculus/Meta Quest ○HoloLens 2 ○Magic Leap 2 ○Mixed Reailty向けのテンプレート ✓空間マッピングの利用（平面検知 ✓ハンドトラッキング ✓入力系のインタラクション 2024/1/17 Copyright © 2023 Takahiro Miyaura 7

https://docs.unity3d.com/Packages/com.unity.template.mixed-reality@1.0/manual/index.html

Mixed Reality Templateとは QuestとHoloLens 2で動作を確認してみた ○Questに最適化されてHoloLens 2は一応動くという印象 ○現段階ではHoloLens 2では・・・ ✓Unity 2022.3系のURPの問題 ✓XRHandSubsystemによるハンドトラッキング 2024/1/17 Copyright © 2023 Takahiro Miyaura 8

Mixed Reality Templateとは HoloLens 2では動くけど Unity 2022.3系のURPプロジェクトでパフォーマンス劣化がある ○Unity バージョンとパッケージの既知の問題 https://learn.microsoft.com/ja-jp/windows/mixed-reality/develop/unity/known-issues 障害となっている問題状態と最終更新日時点既定の URP Lit マテリ調査中: アルを使用する場合、 2023/01/04 URP を使用する HL2 アプリは、Unity 2021 と比較して Unity 2022 でのレンダリングのパフォーマンスが悪化します。問題のあるバージョン対応策 Unity 2022.*.* と URP 13.*.* Unity 2022 で URP を回避するか、既定の URP マテリアルを使用しないようにするか、 Unity 2021.3.14 以降で URP を使用します該当するマテリアルを使わない等問題を回避すれば、使えなくはないです 2024/1/17 Copyright © 2023 Takahiro Miyaura 9

https://learn.microsoft.com/ja-jp/windows/mixed-reality/develop/unity/known-issues

10.

Mixed Reality Templateとは HoloLens 2では動くけど XRHandSubsystemによるハンドトラッキングの精度 ○XRHands(XRHandSubsystem含) ○OpenXRのデバイス共通のハンドトラッキングを実現する機能認識精度があまりよくないと感じた（実装に問題があるかまでは未調査）（現段階は）認識精度を意識すると各デバイスのSDKの方がツヨツヨ OpenXR規格としてのハンドトラッキング機能は魅力 2024/1/17 Copyright © 2023 Takahiro Miyaura 10

11.

https://qiita.com/miyaura/items/eb1805644532c03ab1f9

12.

13.

Snapdragon Spaces 0.19.0がリリースサンプルや機能強化等 https://docs.spaces.qualcomm.com/unity/about/changelog.html#added ○Custom QR Code Tracking Subsystemのサポートとサンプル ○スレッドの処理優先度を調整できるユーティリティの追加 ○VRXでセンター位置更新で発生するコールバックの追加 ○実は超重要！ ○センター位置更新→アプリの原点変更→3Dオブジェクトが動く ○空間メッシュやColliderオブジェクト等空間依存のオブジェクトを制御する際に必要になる気がする 2024/1/17 Copyright © 2023 Takahiro Miyaura 13

https://docs.spaces.qualcomm.com/unity/about/changelog.html#added

14.

Snapdragon Spaces 0.19.0がリリースちなみに。。。 ○Mixed Reality TemplateをLenovo ThinkReality A3にデプロイ ○ヘッドセットの動き、空間メッシュは動いていた ○入力系（ハンドトラッキング、コントローラ）は使えなかった ○もう少し調べてみよう。。。 2024/1/17 Copyright © 2023 Takahiro Miyaura 14

15.

16.

Mixed Reality Toolkit 3（MRTK3）とは超概要 Unity向けのOSSライブラリ Holotoolkit HoloLens向け ○Unity向け ○クロスプラットフォーム ○最新バージョンはv3.0.0 ✓基本コンポーネント ✓共通のインタラクション ✓UIコントロール Mixed Reality Toolkit Windows Mixed Reality Devices対応 Mixed Reality Toolkit V2 HoloLens 1/2,VR Devices,Mobile AR… Mixed Reality Toolkit 3 Public Preview版 Mixed Reality Toolkit 3 v3.0.0 GA! 2023.9.6 2023/12/19 Copyright © 2023 Takahiro Miyaura ←イマココ 16

17.

18.

Magic Leap 2も公式にMRTK3の使い方が書いてる https://developer-docs.magicleap.cloud/docs/guides/third-party/mrtk3/mrtk3-template/ とりあえず、デプロイしてみようぜ UnityのProject Settingsにある Magic Leap 2設定項目の説明既存のMRTK3プロジェクトを Magic Leap 2対応にする手順新規MRTK3プロジェクトを Magic Leap 2対応にする手順 Magic Leap社が提供する MRTK3 サンプルについて 2024/1/17 Copyright © 2023 Takahiro Miyaura 18

https://developer-docs.magicleap.cloud/docs/guides/third-party/mrtk3/mrtk3-template/

19.

Magic Leap 2上でMRTK3を動かしてみる既存のMRTK3のサンプルプロジェクト Magic Leap 2でも問題なくサンプルのあれが動いた (OSのアップデート忘れでしばらく動かず頭を抱えたｗ) ○ 実施した際の各製品バージョン ○ 昨日時点のMRTK3のGithub https://github.com/MixedRealityToolkit/MixedRealityToolkit-Unity ○ Magic Leap Setup Tool v2.0.4 ○ Magic Leap MRTK3 1.0.0-pre.5 ○ Magic Leap SDK 1.12.1 2024/1/17 Copyright © 2023 Takahiro Miyaura 19

https://github.com/MixedRealityToolkit/MixedRealityToolkit-Unity

20.

Magic Leap MRTK3 1.0.0-pre.5 Magic Leap 2用のMRTK3拡張ライブラリ Magic Leap 2用のMRTKプロファイルやPrefabを提供専用のMRTK XR Rig等がある MRTK3標準のXR Rig 2024/1/17 Magic Leap 2 用に提供されたMRTK3 XR Rig Copyright © 2023 Takahiro Miyaura 20

21.

22.

23.

24.

25.

26.

Magic Leap MRTK3 1.0.0-pre.5 Magic Leap 2用のMRTK3拡張ライブラリ既存のMRTK3プロジェクトをML2対応する方法その② MRTK3標準のXR Rigは変更不要のため使いまわしがしやすい！ MRTK3標準のXR Rigは変更不要 Magic Leap 2以外のデバイスをの共存が容易に Project設定を反映しなければ MRTK3標準の構成で動作 2024/1/17 Copyright © 2023 Takahiro Miyaura 26

27.

28.