20231023_MRTK3がGA&ちょっと試してみた

471 Views

October 23, 23

スライド概要

Tokyo HoloLens ミートアップ vol.34(https://hololens.connpass.com/event/296785/)
登壇資料。MRTK3がGAされた話と#SnapdragonSpacesで試した話を紹介。

profile-image

ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。 社内ではXR関連技術に関する啓もう活動や技術支援に従事。 業務の傍ら、XR(特にMixed Reality領域)についての開発技術の調査、開発などを行っています。 また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。

シェア

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

MRTK3がGA& ちょっと試してみた 2023/10 Tokyo HoloLens ミートアップ Vol.34 @takabrz1 Takahiro Miyaura

2.

Microsoft MVP for Mixed Reality 2018-2024 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず)= XRは趣味です(貢献領域:Mixed Reality) 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近は ✓ ✓ Mixed Reality Toolkit v3.0.0(GAされた!) Snapdragon Spacesとか戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura https://zenn.dev/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

3.

小ネタ 2023/10/23 Copyright © 2023 Takahiro Miyaura 3

4.

Microsoft Mesh プレビュー版でたよ Microsoft Mesh = 新しい3D没入型体験を実現する仕組み 先日大阪駆動開発のイベント「XRミーティング」で解説 https://osaka-driven-dev.connpass.com/event/297675/ その日話した資料 ○ Microsoft Meshについて - プレビュー版やドキュメントが出て きたのでその情報整理 https://www.docswell.com/s/m-taka596/5M13WX-XRMTG-MicrosoftMesh-20231019 https://www.youtube.com/watch?v=F20vm7GjTmU 調査用スクラップ ○ Microsoft Mesh関連の話。色々情報飛び交うから備忘録。 https://zenn.dev/miyaura/scraps/94f243e3be40a6 2023/10/23 Copyright © 2023 Takahiro Miyaura 4

5.

MRTK3がGA & ちょっと試してみた 2023/10/23 Copyright © 2023 Takahiro Miyaura 5

6.

Mixed Reality Toolkit 3 もしかしたら MRTK v3になるのかも? Unity向けのOSSライブラリ Holotoolkit HoloLens向け ○Unity向け ○クロスプラットフォーム ○最新バージョンはV2.8.3 ✓基本コンポーネント ✓共通のインタラクション ✓UIコントロール ※Unreal向けのMRTKもあります ※実はBabylon.js版もあります ※Magic Leap 2拡張版もあります 2023/10/23 Mixed Reality Toolkit Windows Mixed Reality Devices対応 Mixed Reality Toolkit V2 HoloLens 1/2,VR Devices,Mobile AR… Mixed Reality Toolkit 3 Pre.18 Copyright © 2023 Takahiro Miyaura 6

7.

Mixed Reality Toolkit 3 もしかしたら MRTK v3になるのかも? Unity向けのOSSライブラリ Holotoolkit HoloLens向け ○Unity向け ○クロスプラットフォーム ○最新バージョンはv3.0.0 ✓基本コンポーネント ✓共通のインタラクション ✓UIコントロール ※Unreal向けのMRTKもあります ※実はBabylon.js版もあります ※Magic Leap 2拡張版もあります 2023/10/23 Mixed Reality Toolkit Windows Mixed Reality Devices対応 Mixed Reality Toolkit V2 HoloLens 1/2,VR Devices,Mobile AR… Mixed Reality Toolkit 3 Pre.18 Mixed Reality Toolkit 3 ←イマココ v3.0.0 GA! 2023.9.6 Copyright © 2023 Takahiro Miyaura 7

8.

Mixed Reality Toolkitの最近 2023/10/23 Copyright © 2023 Takahiro Miyaura 8

9.

Mixed Reality Toolkitの最近 3社による独立した運営 Microsoft, Qualcomm, Magic Leapの3社による独立したプロジェクトに きっかけはMicrosoft社のレイオフ マイクロソフトがMRTK開発チームを解散し「AltspaceVR」シャットダウ ン、今後は「Microsoft Mesh」にシフトか(MoguraVR – 2023/01/25) https://www.moguravr.com/microsoft-mrtk-team-dissolve/ ○Unity向け ○クロスプラットフォーム ○最新バージョンはv3.0.0 MRTK Devチームの解散によりMicrosoft主導によるプロジェクト運 営ではなくOSSとして整備が進むようになる。 ✓基本コンポーネント ✓共通のインタラクション ✓UIコントロール 2023/10/23 Copyright © 2023 Takahiro Miyaura 9

10.

Mixed Reality Toolkitの最近 3社による独立した運営 Microsoft, Qualcomm, Magic Leapの3社による独立したプロジェクトに きっかけはMicrosoft社のレイオフ マイクロソフトがMRTK開発チームを解散し「AltspaceVR」シャットダウ ン、今後は「Microsoft Mesh」にシフトか(MoguraVR – 2023/01/25) https://www.moguravr.com/microsoft-mrtk-team-dissolve/ ○Unity向け ○クロスプラットフォーム ○最新バージョンはv3.0.0 ✓基本コンポーネント ✓共通のインタラクション ✓UIコントロール MRTK Devチームの解散によりMicrosoft主導によるプロジェクト運 営ではなくOSSとして整備が進むようになる。 独立したプロジェクトとして新たなスタート 「MRTK」がプロジェクトとして独立、運営にMagic Leapとクアルコム参 画へ(MoguraVR – 2023/08/31) https://www.moguravr.com/mrtk-independence-qualcomm-magicleap-join/ Microsoft, Qualcomm, Magic Leap の3社運営 2023/10/23 Copyright © 2023 Takahiro Miyaura 10

11.

Mixed Reality Toolkitの最近 関連ニュース Microsoft, Magic Leap, Qualcomm MicrosoftのTech Communityブログ Microsoft Mixed Reality Toolkit 3 (MRTK3) moves to an independent organization within GitHub(Microsoft Tech Community – 2023/08/21) https://techcommunity.microsoft.com/t5/mixed-reality-blog/microsoft-mixed-reality-toolkit-3-mrtk3-moves-to-an-independent/ba-p/3898941 Magic Leapのプレスリリース Magic Leap Joins MRTK Steering Committee alongside Microsoft and Qualcomm Technologies(Magic Leap Newsroom – 2023/08/21) https://www.magicleap.com/news/magic-leap-joins-mrtk-steering-committee-alongside-microsoft-and-qualcomm Qualcommは今回の件で特にアナウンスは出していない。 ただ、過去Qualcomm主催のSnapdragon Spaces summitでMRTK3との協業の話をしている https://www.youtube.com/watch?v=V1d_FRnU70g 2023/10/23 Copyright © 2023 Takahiro Miyaura 11

12.

変わったこと。 2023/10/23 Copyright © 2023 Takahiro Miyaura 12

13.

変わったこと 独立したプロジェクトになったことによる変更 ○ Githubリポジトリ ○ 元々あったMRTKのプロジェクトから「mrtk3」ブランだけ移管 ○ 新しいリポジトリ https://github.com/MixedRealityToolkit/MixedRealityToolkit-Unity ※プロジェクト名が同じなのでForkが地味に困るw ○ MRTK V2等旧バージョンはこれまでのMRTKプロジェクトのまま(おそらく) https://github.com/microsoft/MixedRealityToolkit-Unity ○ パッケージ名 ○ 旧:com.microsoft.mixedrealitytoolkit.XXXX 新:org.mixedrealitytoolkit.XXXX ○ 名前空間 ○ 旧:Microsoft.MixedReality.Toolkit.XXXX 新:MixedReality.Toolkit.XXXX 2023/10/23 Copyright © 2023 Takahiro Miyaura 13

14.

記事としてまとめました。 Mixed Reality Toolkit V3.0.0がGAされたので情報を整理した 今日説明した話等を整理しています。 Mixed Reality Toolkit V3.0.0がGAされたので情報を整 理した https://qiita.com/miyaura/items/a36d89a8e708d1bcd722 2023/10/23 Copyright © 2023 Takahiro Miyaura 14

15.

注意が必要なこと 2023/10/23 Copyright © 2023 Takahiro Miyaura 15

16.

ずっとMRTK見てる人視点 MRTK3にこんな印象持ってます。 ○ 基本的にはMRTK V2の知識がそのまま使える ○ コンポーネント名やパラメータはおおむね同じ名前で移行 ○ MRTK V2の機能がすべて移行されてはいない ○ 機能レベルではほぼ同じだが、細やかな機能がない状態 例:PressableButtonのラベルやアイコン変更は各子コンポーネントで ○ サポートデバイスはV2の頃のよりは追加が楽かも? ○ デバイスがOpenXRにさえ対応していればだいたい動く ○ 使いこなせると便利な新機能もあるよ ○ UGUIベース部品、Data Binding、テーマ変更、アクセシビリティ… 2023/10/23 Copyright © 2023 Takahiro Miyaura 16

17.

今後の話 先日のXR ミーティングでホロ元さんから教えてもらった 新規はMRTK3、既存V2やモバイルはMRTKV2かな…とのこと ○ 今後の最新メンテはMRTK3 ○ MRTKを利用している他OSSも順次MRTK3へ移行(主にサンプル) ○ OpenXR対応であれば今後リリースされるデバイスでも対応できる ○ MRTK V2 ○ バグなどはOSSとして対応 ○ OpenXRのサポートがないモバイル系はV2(今のところかな?) 2023/10/23 Copyright © 2023 Takahiro Miyaura 17

18.

以上 2023/10/23 Copyright © 2023 Takahiro Miyaura 18

19.

ちょっと試してみた 2023/10/23 Copyright © 2023 Takahiro Miyaura 19

20.

HoloLens 2では動くので今日は 他の奴でやってみました。 2023/10/23 Copyright © 2023 Takahiro Miyaura 20

21.

Lenovo ThinkReality A3 エンタープライズ向けのARグラス いわゆる投影部分が眼鏡型 Key Features: •Snapdragon XR-1 SmartView •Lightweight AR Glasses – <130g •Binocular 1080p resolution displays •8MP RGB Camera •Dual fish-eye cameras for 6DOF tracking •Integrated speakers and microphones •USB Type C, USB 3.1 •DisplayPort v1.4 compliant •Lenovo integrated solution support スマホはMotorola製(開発キットに付属) Snapdragon SpacesというAR開発プラットフォーム対応機器という位置づけ 2023/10/23 Copyright © 2023 Takahiro Miyaura 21

22.

Snapdragon Spaces 名前から想像される通りのクアルコムが手掛けるサービス マートフォン接続のARグラスのデバイス設計、ARグラス向け3Dアプリケーション 開発・商用化を支援するプラットフォーム 基本機能 ○ Positional Tracking 操作系 ○ Gaze Controller 環境(空間)認識 ○ Plane Detection ○ Local Spatial Anchors ○ Companion Controller ○ Image Tracking ○ Hit Testing ○ Hand Tracking ○ 6DOFによる自己位置推定 ○ 現実空間との位置合わせ ○ 現実空間とのオクルージョン等 ○ 頭の向きでフォーカスや決定 ○ スマホを3DOFコントローラ化 ○ 平面検知 ○ 画像マーカー ○ ハンドトラッキング OpenXR準拠のランタイムと様々なOpenXR拡張機能として提供されている 2023/10/23 Copyright © 2023 Takahiro Miyaura 22

23.

そして MRTK3とSnapdragon Spacesは共存できる 2023/10/23 Copyright © 2023 Takahiro Miyaura 23

24.

使用例 Snapdragon Spaces × Dual Render Fusion × MRTK3検証 アプリケーションのUIとして。。。 2023/10/23 Copyright © 2023 Takahiro Miyaura 24

25.

まとめ 2023/10/23 Copyright © 2023 Takahiro Miyaura 25

26.

まとめ MRTK v3.0.0 GAの話とMRTK3 UX Components – Dialog ✓ MRTK3について ✓ ✓ ✓ 9月にGA Microsoft社の1社体制から Qualcomm, Magic Leapを加えた3社独立プロジェクトに MRTK3のみ別のgithubで管理 https://github.com/MixedRealityToolkit/MixedRealityToolkit-Unity ✓ ちょっとためしてみた話 ✓ ✓ HoloLens 2ももちろん動きますよ Snapdragon Spaces × GA されたMRTK3は問題なさそう 祝 Mixed Reality Toolkit 3 GA! 2023/10/23 Copyright © 2023 Takahiro Miyaura 26

27.

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ