MRTK3を調べてみた

>100 Views

June 22, 22

スライド概要

XRミーティング 2022/06/15【AR/CR/MR/SR/VR】(https://osaka-driven-dev.connpass.com/event/250007/)
Mixed Reality Dev Days 2022でpublic previewとなったMRTK3のプロジェクト環境を作り方について。
手順は
Qiita(https://qiita.com/miyaura/items/df5947d45cb3b86bbf18)

profile-image

ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。 業務アプリケーション実行基盤の開発に従事。 業務の傍ら、XR(特にMixed Reality領域)についての開発技術の調査、開発などを行っています。 また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。

シェア

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

MRTK3を調べてみた 2022/06 XRミーティング takabrz1 Takahiro Miyaura

2.

Microsoft MVP for Windows Development 2018-2022 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず)= XRは趣味です(貢献領域:Mixed Reality) 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼ 普段はよくMixed Reality Toolkitに関する調査している ✓ リリース機能調べたり・・・ ✓ 面白い機能使ってみたり・・・ ✓ 新しい実験してフィードバックしたり・・・ 最近はこちらに Come Back気味 と思ったらDigital Twins ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

3.

先日 Mixed Reality Dev Days 2022が開催 2022/6/15 Copyright © 2022 Takahiro Miyaura 3

4.

Mixed Reality Dev Daysとは だいたい春頃に開催さるMicrosoft社のMRの開発技術イベント コロナ禍でしばらくはオンラインだったが今回からオフラインでも開催 ◼ 今回は以下の技術に関するセッション ✓ ✓ ✓ ✓ ✓ ✓ ✓ Mixed Reality Toolkit 3 Stereokit OpenXR, Unity XR Interaction Toolkit Unreal Engine 5 (+ Deep Learning) Azure Remote Rendering Moving Platform HoloLens 2 Power Thermal Notification SDK オンライン配信はMRTK3のみ Youtubeから見られます。 ○ 【1日目】https://youtu.be/xQW0WTOOggQ ○ 【2日目】 https://youtu.be/kCwwaQhJqQs 2022/6/15 Copyright © 2022 Takahiro Miyaura 4

5.

ということで 2022/6/15 Copyright © 2022 Takahiro Miyaura 5

6.

本日の内容 ◼ Mixed Reality Toolkit 3の概要とGet Started! ✓Mixed Reality Toolkit 3に至る経緯 ✓MRTK3のポイント ✓バージョニングとパッケージ ✓Get Started ✓ちょっと注意事項 2022/6/15 Copyright © 2022 Takahiro Miyaura 6

7.

Mixed Reality Toolkit 3に至る経緯 2022/6/15 Copyright © 2022 Takahiro Miyaura 7

8.

MRTK3のポイント 2022/6/15 Copyright © 2022 Takahiro Miyaura 8

9.

MRTK3のポイント 既存ライブラリへの対応、標準化 ✓ MRTK V2までで持つしかなかった機能や仕組みを改めて既存ライブラリを利用するように変更 業界標準、冗長な機能に対応するためのリファクタリングにより 扱いやすいライブラリへ 2022/6/15 Copyright © 2022 Takahiro Miyaura 9

10.

MRTK3のポイント アーキテクチャはこういう感じです。 ✓ MRTK V2までで持つしかなかった機能や仕組みを改めて既存ライブラリを利用するように変更 依存関係も見直しが入っており扱いやすく 2022/6/15 Copyright © 2022 Takahiro Miyaura 10

11.

バージョニングとパッケージ 2022/6/15 Copyright © 2022 Takahiro Miyaura 11

12.

バージョニングとパッケージ V2は機能に対してパッケージが大きかった MRTK3からは機能毎にパッケージングし細分化、それぞれにバージョンをつける ポイント 機能毎に細分化したことで修正時の パッケージの範囲も小さくなりリリー スサイクルを短縮できる ゆえに MRTK V3 ではなく MRTK3 となっている 3はバージョンではなく第3世代という意味 2022/6/15 Copyright © 2022 Takahiro Miyaura 12

13.

Get Started概説 2022/6/15 Copyright © 2022 Takahiro Miyaura 13

14.

Get Startedはこんな感じ HoloLens 2で動かす! Meta Quest 2で動かす! 2022/6/15 Copyright © 2022 Takahiro Miyaura 14

15.

環境とパッケージ 開発に必要な環境とパッケージ ○ Mixed Reality Feature Tool ○ Unity 2020.35,2021.3.4 or newer ○ packages ✓ Mixed Reality OpenXR Plugin(from Mixed Reality Feature Tool) ✓ Input System* ✓ XR Management* ✓ XR Interaction Toolkit* ✓ OpenXr Plugin* ○ Visual Studio 2022 ✓ Windows 10 SDK version 10.0.19041.0 or 10.0.18362.0, or Windows 11 SDK ✓ USB Device Connectivity (required to deploy/debug to HoloLens over USB) ✓ C++ (v142) Universal Windows Platform tools (required when using Unity) *印はMRTK3を導入すると自動的に依存関係のあるpa ckageとしてインポートされます。 2022/6/15 Copyright © 2022 Takahiro Miyaura 15

16.

(参考)MRTK3のバージョン ◼こういう感じで機能毎にバージョニングされます 2022/6/15 パッケージ名 バージョン com.microsoft.mrtk .accessibility 1.0.0-pre.6 com.microsoft.mrtk .core 3.0.0-pre.6 com.microsoft.mrtk .data 1.0.0-pre.6 com.microsoft.mrtk .diagnostics 3.0.0-pre.6 com.microsoft.mrtk .environment 3.0.0-pre.6 com.microsoft.mrtk .extendedassets 3.0.0-pre.6 com.microsoft.mrtk .graphicstools.unity 0.3.15 com.microsoft.mrtk .input 3.0.0-pre.6 com.microsoft.mrtk .spatialmanipulation 3.0.0-pre.6 com.microsoft.mrtk .standardassets 3.0.0-pre.6 com.microsoft.mrtk .uxcomponents 3.0.0-pre.6 com.microsoft.mrtk .uxcore 3.0.0-pre.6 com.microsoft.mrtk .windowsspeech 3.0.0-pre.6 Copyright © 2022 Takahiro Miyaura 16

17.

Get Startedの内容 Unityで空プロジェクト作ってMRTK3のUI部品を使うまで 1. 2. 3. 4. Unityで空プロジェクト作成 1のプロジェクトにMixed Reality Feature Toolで必要なパッケージをインポート OpenXRの設定 Hierarchyの設定(この作業までするとベースが完成) ✓ Main Cameraの削除 ✓ MRTK XR Rigの追加 ✓ MRTK Input Simulatorの追加 5. ボタンといくつかのUI部品を追加 6. ビルド&デプロイ 7. 2022/6/15 |・ω・’)b Copyright © 2022 Takahiro Miyaura 17

18.

2. 1のプロジェクトにMixed Reality Feature Toolで 必要なパッケージをインポート ポイントは2つ MRTK3はこれをインポート ○ MRTK Input(3.0.0-pre.6) ○ MRTK Standard Assets(3.0.0-pre.6) ○ MRTK UX Conpoments(3.0.0-pre.6) ○ Mixed Reality OpenXR Plugin(1.4.1) 必要なコンポーネントの設定 Preview releaseの表示 MRTK3関連に加えてOpenXR Pluginの 追加も忘れずに! 任意で空間オーディオライブラリも使 えます。 MRTK3はまだPublic Preview版なので Mixed Reality Feature Tool使うために は設定変更が必要 2022/6/15 Copyright © 2022 Takahiro Miyaura 18

19.

4. Hierarchyの設定(この作業までするとベースが完成) 必要なPrefabは提供されている (現状は自分で設定する) ○ MRTK XR Rig ○ カメラ、コントローラ等 ○ MRTK Input Simulator ○ Editor上のデバッグで使う Projectタブで検索して追加する ※In PackageかAllで検索してね 2022/6/15 Copyright © 2022 Takahiro Miyaura 19

20.

5. ボタンといくつかのUI部品を追加 UI系のPrefabも提供されている (現状は自分で設定する) ○ PressableButton_128x32mm_TextOnly等… Projectタブで検索して追加する ※In PackageかAllで検索してね ボタンのテキストは直接変更 2022/6/15 Copyright © 2022 Takahiro Miyaura 20

21.

ちょっと注意事項 2022/6/15 Copyright © 2022 Takahiro Miyaura 21

22.

ちょっと注意事項 V2に比べると不便だったり既存の問題があり まだpublic previewなのでね。。。 特に注意が必要なこと ○OpenXR対応なのでMeta Quest 2でも動きます ○ハンドトラッキングできます ○人差し指押せます ○モーションコントローラは使えます !モーションコントローラは見えないです(今日時点) !ハンドレイは未サポートです(今日時点) !ジェスチャーも未サポートです(今日時点) 2022/6/15 Copyright © 2022 Takahiro Miyaura 22

23.

まとめ 2022/6/15 Copyright © 2022 Takahiro Miyaura 23

24.

まとめ ◼ Mixed Reality Toolkit 3の概要とGet Started! ✓Mixed Reality Toolkit 3に至る経緯 ✓ OpenXR策定前からのライブラリ ✓ 様々な便利機能をMRTK内で作りこんでいた ✓ 近年は標準規格、ライブラリ充実、機能が冗長になっていた ✓MRTK3のポイント ✓ 業界標準、既存ライブラリをベースに軽量で扱いやすく ✓バージョニングとパッケージ ✓ ✓ 機能毎に細分化→リリースサイクルの短縮 Mixed Reality Toolkit 3が正式、3は世代数 ✓Get Started ✓ 実装方法はOpenXR+XRIに近いと思います ✓ちょっと注意事項 ✓ 2022/6/15 Meta Quest 2での利用は注意がいります。 Copyright © 2022 Takahiro Miyaura 24

25.

今日の話は。。。 ○Qiitaにまとめています。 ○Getting started with your first MRTK3 project https://qiita.com/miyaura/items/df5947d45cb3b86bbf18 ○MRTK3について ○空のプロジェクトの作成~デプロイ ○Hand Interaction Example等のサンプルについて 2022/6/15 Copyright © 2022 Takahiro Miyaura 25

26.

もう少し他の機能にも触れつつ。。。 来週のTokyo HoloLens ミートアップ Vol.30では もう少しMRTK3の色々を話します! 2022/6/15 Copyright © 2022 Takahiro Miyaura 26

27.

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ 2022/6/15 Copyright © 2022 Takahiro Miyaura 27