お正月に調べていたこと(Mixed Reality Template, Snapdragon Spaces, MRTK3 on Magic Leap 2)

2.1K Views

January 17, 24

スライド概要

XRミーティング 2024/01/17【AR/CR/MR/SR/VR】(https://osaka-driven-dev.connpass.com/event/306460/)登壇資料。
年末年始にかけていくつかのプラットフォームやデバイスの調査を行ったので、その情報を共有。
①Unity 2022系で追加されたMixed Reality TemplateをHoloLens 2で検証、②Snapdragon Spaces v0.19.0がリリースされた、 ③Magic Leap 2をようやく手に入れたのでMRTK3を実際に動かしてみた。

profile-image

ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。 社内ではXR関連技術に関する啓もう活動や技術支援に従事。 業務の傍ら、XR(特にMixed Reality領域)についての開発技術の調査、開発などを行っています。 また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

お正月に調べていたこと Unity とか Snapdragon Spacesとか Magic Leap 2とか 2024/01 XRミーティング @takabrz1 Takahiro Miyaura

2.

今日は色々なプラットフォームの Unity開発あれこれ @takabrz1 Takahiro Miyaura

3.

こんなことしてお正月過ごしていた 今日のお題 ○UnityのMixed Reality Templateを見ていた ○Snapdragon Spaces v0.19.0が出ていた ○Magic Leap 2 がキタ━━━━(゚∀゚)━━━━!! ○折角なのでMRTK3を動かしてみた 2024/1/17 Copyright © 2023 Takahiro Miyaura 3

4.

Microsoft MVP for Mixed Reality 2018-2024 XRは趣味です 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近は ✓ ✓ Mixed Reality Toolkit v3.0.0(GAされた!) Snapdragon Spacesとか戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura https://zenn.dev/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

5.

ということで、さっそく 2024/1/17 Copyright © 2023 Takahiro Miyaura 5

6.

Mixed Reality Templateをみていた話 2024/1/17 Copyright © 2023 Takahiro Miyaura 6

7.

Mixed Reality Templateとは Unity 2022.3系から提供されているプロジェクトテンプレート https://docs.unity3d.com/Packages/[email protected]/manual/index.html ○サポートデバイス ○Oculus/Meta Quest ○HoloLens 2 ○Magic Leap 2 ○Mixed Reailty向けのテンプレート ✓空間マッピングの利用(平面検知 ✓ハンドトラッキング ✓入力系のインタラクション 2024/1/17 Copyright © 2023 Takahiro Miyaura 7

8.

Mixed Reality Templateとは QuestとHoloLens 2で動作を確認してみた ○Questに最適化されてHoloLens 2は一応動くという印象 ○現段階ではHoloLens 2では・・・ ✓Unity 2022.3系のURPの問題 ✓XRHandSubsystemによるハンドトラッキング 2024/1/17 Copyright © 2023 Takahiro Miyaura 8

9.

Mixed Reality Templateとは HoloLens 2では動くけど Unity 2022.3系のURPプロジェクトでパフォーマンス劣化がある ○Unity バージョンとパッケージの既知の問題 https://learn.microsoft.com/ja-jp/windows/mixed-reality/develop/unity/known-issues 障害となっている問題 状態と最終更新日時 点 既定の URP Lit マテリ 調査中: アルを使用する場合、 2023/01/04 URP を使用する HL2 アプリは、Unity 2021 と比較して Unity 2022 でのレンダリングのパ フォーマンスが悪化し ます。 問題のあるバージョ ン 対応策 Unity 2022.*.* と URP 13.*.* Unity 2022 で URP を 回避するか、既定の URP マテリアルを使 用しないようにするか、 Unity 2021.3.14 以降 で URP を使用します 該当するマテリアルを使わない等問題を回避すれば、使えなくはないです 2024/1/17 Copyright © 2023 Takahiro Miyaura 9

10.

Mixed Reality Templateとは HoloLens 2では動くけど XRHandSubsystemによるハンドトラッキングの精度 ○XRHands(XRHandSubsystem含) ○OpenXRのデバイス共通のハンドトラッキングを実現する機能 認識精度があまりよくないと感じた (実装に問題があるかまでは未調査) (現段階は) 認識精度を意識すると各デバイスのSDKの方がツヨツヨ OpenXR規格としてのハンドトラッキング機能は魅力 2024/1/17 Copyright © 2023 Takahiro Miyaura 10

11.

HoloLens 2のデプロイはQiita記事に UnityのMR TemplateをHoloLens 2にデプロイしてみる https://qiita.com/miyaura/items/eb1805644532c03ab1f9 2024/1/17 Copyright © 2023 Takahiro Miyaura 11

12.

Snapdragon Spaces 0.19.0がリリース 2024/1/17 Copyright © 2023 Takahiro Miyaura 12

13.

Snapdragon Spaces 0.19.0がリリース サンプルや機能強化等 https://docs.spaces.qualcomm.com/unity/about/changelog.html#added ○Custom QR Code Tracking Subsystemのサポートとサンプル ○スレッドの処理優先度を調整できるユーティリティの追加 ○VRXでセンター位置更新で発生するコールバックの追加 ○実は超重要! ○センター位置更新→アプリの原点変更→3Dオブジェクトが動く ○空間メッシュやColliderオブジェクト等空間依存のオブジェクトを制御 する際に必要になる気がする 2024/1/17 Copyright © 2023 Takahiro Miyaura 13

14.

Snapdragon Spaces 0.19.0がリリース ちなみに。。。 ○Mixed Reality TemplateをLenovo ThinkReality A3にデプロイ ○ヘッドセットの動き、空間メッシュは動いていた ○入力系(ハンドトラッキング、コントローラ)は使えなかった ○もう少し調べてみよう。。。 2024/1/17 Copyright © 2023 Takahiro Miyaura 14

15.

Magic Leap 2がキタ━━━━(゚∀゚)━━━━!! そしてとりあえず、MRTK3を動かした 2024/1/17 Copyright © 2023 Takahiro Miyaura 15

16.

Mixed Reality Toolkit 3(MRTK3)とは 超概要 Unity向けのOSSライブラリ Holotoolkit HoloLens向け ○Unity向け ○クロスプラットフォーム ○最新バージョンはv3.0.0 ✓基本コンポーネント ✓共通のインタラクション ✓UIコントロール Mixed Reality Toolkit Windows Mixed Reality Devices対応 Mixed Reality Toolkit V2 HoloLens 1/2,VR Devices,Mobile AR… Mixed Reality Toolkit 3 Public Preview版 Mixed Reality Toolkit 3 v3.0.0 GA! 2023.9.6 2023/12/19 Copyright © 2023 Takahiro Miyaura ←イマココ 16

17.

Mixed Reality Toolkit 3 機能 – UX構成要素 サイトより抜粋 https://learn.microsoft.com/ja-jp/windows/mixed-reality/mrtk-unity/mrtk3-overview/ ?WT.mc_id=WDIT-MVP-5003104 2023/12/19 Copyright © 2023 Takahiro Miyaura 17

18.

Magic Leap 2も公式にMRTK3の使い方が書いてる https://developer-docs.magicleap.cloud/docs/guides/third-party/mrtk3/mrtk3-template/ とりあえず、デプロイしてみようぜ UnityのProject Settingsにある Magic Leap 2設定項目の説明 既存のMRTK3プロジェクトを Magic Leap 2対応にする手順 新規MRTK3プロジェクトを Magic Leap 2対応にする手順 Magic Leap社が提供する MRTK3 サンプルについて 2024/1/17 Copyright © 2023 Takahiro Miyaura 18

19.

Magic Leap 2上でMRTK3を動かしてみる 既存のMRTK3のサンプルプロジェクト Magic Leap 2でも問題なくサンプルのあれが動いた (OSのアップデート忘れでしばらく動かず頭を抱えたw) ○ 実施した際の各製品バージョン ○ 昨日時点のMRTK3のGithub https://github.com/MixedRealityToolkit/MixedRealityToolkit-Unity ○ Magic Leap Setup Tool v2.0.4 ○ Magic Leap MRTK3 1.0.0-pre.5 ○ Magic Leap SDK 1.12.1 2024/1/17 Copyright © 2023 Takahiro Miyaura 19

20.

Magic Leap MRTK3 1.0.0-pre.5 Magic Leap 2用のMRTK3拡張ライブラリ Magic Leap 2用のMRTKプロファイルやPrefabを提供 専用のMRTK XR Rig等がある MRTK3標準のXR Rig 2024/1/17 Magic Leap 2 用に提供されたMRTK3 XR Rig Copyright © 2023 Takahiro Miyaura 20

21.

Magic Leap MRTK3 1.0.0-pre.5 Magic Leap 2用のMRTK3拡張ライブラリ 既存のMRTK3プロジェクトをML2対応する方法 その① XR Rigを置き換える MRTK3標準のXR Rig 2024/1/17 Magic Leap 2 用に提供されたMRTK3 XR Rig Copyright © 2023 Takahiro Miyaura 21

22.

Magic Leap MRTK3 1.0.0-pre.5 Magic Leap 2用のMRTK3拡張ライブラリ 既存のMRTK3プロジェクトをML2対応する方法 その② XR RigはそのままでProject Settingsの設定で対応 プロジェクト設定で対応できる! MRTK3標準のXR Rigは変更不要 2024/1/17 Copyright © 2023 Takahiro Miyaura 22

23.

Magic Leap MRTK3 1.0.0-pre.5 Magic Leap 2用のMRTK3拡張ライブラリ MRTK XR Rig内のコントローラ、ハンドモデル設定 2024/1/17 Copyright © 2023 Takahiro Miyaura 23

24.

Magic Leap MRTK3 1.0.0-pre.5 Magic Leap 2用のMRTK3拡張ライブラリ Input Actionのパスの変更 2024/1/17 Copyright © 2023 Takahiro Miyaura 24

25.

Magic Leap MRTK3 1.0.0-pre.5 Magic Leap 2用のMRTK3拡張ライブラリ 権限周り 2024/1/17 Copyright © 2023 Takahiro Miyaura 25

26.

Magic Leap MRTK3 1.0.0-pre.5 Magic Leap 2用のMRTK3拡張ライブラリ 既存のMRTK3プロジェクトをML2対応する方法 その② MRTK3標準のXR Rigは変更不要のため使いまわしがしやすい! MRTK3標準のXR Rigは変更不要 Magic Leap 2以外のデバイスをの共存が容易に Project設定を反映しなければ MRTK3標準の構成で動作 2024/1/17 Copyright © 2023 Takahiro Miyaura 26

27.

こんなことしてお正月過ごしていた 今日のお題 ○UnityのMixed Reality Templateを見ていた ○Snapdragon Spaces v0.19.0が出ていた ○Magic Leap 2 がキタ━━━━(゚∀゚)━━━━!! ○折角なのでMRTK3を動かしてみた 2024/1/17 Copyright © 2023 Takahiro Miyaura 27

28.

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ 2024/1/17 Copyright © 2023 Takahiro Miyaura 28