今更ですがちょっとMetaQuest3でMRTK3触ってみました

3.9K Views

November 15, 23

スライド概要

【大阪-オンライン開催】XRミーティング 2023/11/15【AR/CR/MR/SR/VR】(https://osaka-driven-dev.connpass.com/event/300395/)
Meta Quest 3上でMRTK3を使って色々できるか調査した話。MRTK3のハンドトラッキングにかかわる機能を使う場合はちょっとひと工夫が必要。パススルーやシーンを使うことは比較的容易にできそうなことを確認しました。

profile-image

ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。 社内ではXR関連技術に関する啓もう活動や技術支援に従事。 業務の傍ら、XR(特にMixed Reality領域)についての開発技術の調査、開発などを行っています。 また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。

シェア

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

今更ですが ちょっとMeta Quest 3でMRTK3触ってみました。 2023/11 XRミーティング @takabrz1 Takahiro Miyaura

2.

今日はすごくゆるい話です @takabrz1 Takahiro Miyaura

3.

今日のポイント的な ✓ Meta Quest 3 でMRTK3は動くよ ※非公式だけど他のQuestシリーズで動くから大丈夫? ✓ どのあたりが試験的? ✓ Meta Quest 3ネイティブな機能つかえるけど・・・ ✓ ハンドトラッキングはね・・・ 2023/11/15 Copyright © 2023 Takahiro Miyaura 3

4.

Microsoft MVP for Mixed Reality 2018-2024 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず)= XRは趣味です(貢献領域:Mixed Reality) 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近は ✓ ✓ Mixed Reality Toolkit v3.0.0(GAされた!) Snapdragon Spacesとか戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura https://zenn.dev/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

5.

ということで、 いつものMRTK3とは 2023/11/15 Copyright © 2023 Takahiro Miyaura 5

6.

Mixed Reality Toolkit 3 もしかしたら MRTK v3になるのかも? Unity向けのOSSライブラリ Holotoolkit HoloLens向け ○Unity向け ○クロスプラットフォーム ○最新バージョンはv3.0.0 ✓基本コンポーネント ✓共通のインタラクション ✓UIコントロール ※Unreal向けのMRTKもあります ※実はBabylon.js版もあります ※Magic Leap 2拡張版もあります 2023/11/15 Mixed Reality Toolkit Windows Mixed Reality Devices対応 Mixed Reality Toolkit V2 HoloLens 1/2,VR Devices,Mobile AR… Mixed Reality Toolkit 3 Pre.18 Mixed Reality Toolkit 3 ←イマココ v3.0.0 GA! 2023.9.6 Copyright © 2023 Takahiro Miyaura 6

7.

サポートデバイスは。。。 2023/11/15 Copyright © 2023 Takahiro Miyaura 7

8.

実はサポートしてるデバイスの大半は・・・ Platform OpenXR devices Windows Supported Devices • • • • • • • Microsoft HoloLens 2 Magic Leap 2 Meta Quest 1/2 Windows Mixed Reality (experimental) SteamVR (experimental) Oculus Rift on OpenXR (experimental) Varjo XR-3 (experimental) If your OpenXR device already works with MRTK3, let us know! Traditional flat-screen desktop (experimental) And more coming soon! ここのリストにははいってないけど Lenovo ThinkReality A3とVRXでも使える 2023/11/15 Copyright © 2023 Takahiro Miyaura 8

9.

今回はMeta Quest 3でやってみた 2023/11/15 Copyright © 2023 Takahiro Miyaura 9

10.

開発環境 あれ使います ○ツール ○Unity 2022.3.7f1 ○Mixed Reality Feature Tool ○ライブラリ ○Mixed Reality OpenXR Plugin ○Mixed Reality toolkit v3.0.0 ○ MRTK Core Definitions ○ MRTK Input ○ MRTK Spatial Manipulation ○ MRTK Standard Assets ○Meta XR Core SDK (v59.0) ※これを入れると以下が勝手に入る ○ Meta XR Interaction SDK ○ Meta XR SDK Shared Asset 2023/11/15 Meta Quest 3のネイティブの機能を利用する場合に必要 Copyright © 2023 Takahiro Miyaura 10

11.

ライブラリについて Asset Storeとツールから導入する 2023/11/15 Copyright © 2023 Takahiro Miyaura 11

12.

シーンの作成 MRTK XR Rigをmain cameraに置換え 検証用としてCubeをハンドトラッキング操作できるようにする MRTKのObject Manipulatorコンポーネントを追加 • 「MRTK XR RIG」で検索 • 対象は「In Package」 ○ 2023/11/15 シーンについてはこれだけでプレーンな環境はできます。 Copyright © 2023 Takahiro Miyaura 12

13.

XR Plug-in Management OpenXR – Meta XR feature groupをチェック Hand Tracking系は Mixed Reality OpenXR Plugin経由で実施 2023/11/15 Copyright © 2023 Takahiro Miyaura 13

14.

デモ とりあえずハンドトラッキングをMRTK3で使う 2023/11/15 Copyright © 2023 Takahiro Miyaura 14

15.

OMAKE パススルーを使う ○空のGameObjectに以下のコンポーネント ○OVR Passthrough Layer ✓ PlacementをUnderlayに変更 ○OVR Manager ✓ Enable Passthroughをチェック 2023/11/15 Copyright © 2023 Takahiro Miyaura 15

16.

OMAKE Scene(実空間を仮想的なルームとして活用する機能) ○コンポーネントの追加と設定変更 ○Projectパネルから以下のprefabをシーンに追加 ✓ OVRSceneManager ○OVR Manager ✓ Scene Supportを有効 実空間に合う仮想的なルームを生成 上記は床や壁をメッシュで可視化 • 「OVRSceneManager」で検索 • 対象は「In Package」 2023/11/15 Copyright © 2023 Takahiro Miyaura 16

17.

まとめ ✓ Meta Quest 3 でMRTK3は動くよ ※非公式だけど他のQuestシリーズで動くから大丈夫そう ✓ どのあたりが試験的? ✓ Meta Quest 3ネイティブな機能と組み合わせるけど・・・ ✓ 綺麗にすみわけができているわけではない ✓ ハンドトラッキングはね・・・ ✓ MRTK3の機能を使うにはMixed Reality OpenXR Plugin経由 ※上記ライブラリにAndroid系があるのは互換性のため ✓ 最終的にはMRTK3の拡張機能で使えるようになるのでは。 2023/11/15 Copyright © 2023 Takahiro Miyaura 17

18.

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ