ちょっと試したい & 調査中のXR関連のライブラリ

ちょっと試したい & 調査中の XR関連のライブラリ 2023/05 XRミーティング takabrz1 Takahiro Miyaura

Microsoft MVP for Mixed Reality 2018-2023 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality） 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近は ✓ ✓ Mixed Reality Toolkit 3とか Snapdragon Spacesとか戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

• https://qiita.com/miyaura

XR系のライブラリやプラットフォーム 最近色々面白いですよね。 Copyright © 2023 Takahiro Miyaura takabrz1 Takahiro Miyaura

今日は後でやるリストを整理してみた Copyright © 2023 Takahiro Miyaura 個人的興味なので網羅的ではないです takabrz1 Takahiro Miyaura

全部を網羅しているわけではない 興味がある＆気にしてるリスト かなり偏ったチョイスｗ ○Lightship関連 ○Babylon.js ○8th Wall ○Snapdragon Spaces 番外編（紹介はしない） OpenAIとかAzure Open AI Serviceとか Geospatial APIとかPLATEAUとかUE系とか。。 。。。この辺りもいずれ 2023/5/17 Mixed Reality関連 ○Microsoft Azure Mixed Reality Services ○Experimental ○Mixed Reality Toolkit ○MRTK3 ○Platform Support ○ Microsoft Mixed Reality OpenXR Plugin ○and more … ○ Spatial Audio ○World Locking Tools ○Other Features ○ Microsoft Mixed Reality Webview(Preview) ○and more… ○ Copyright © 2023 Takahiro Miyaura 5

LightShip関連 Scanning Framework https://lightship.dev/ja/docs/ardk/scanning/getting_started.html Lightship VPS向けの機能がアプリに組み込める ※まだプレビュー機能だけど。 VPS用アプリWayfarrerの手順を組み込める 大雑把な動きのイメージ 1. 空間情報の取得 Scanを押してデバイスを使ったスキャンを作成し、デバイスのカメ ラで目的のオブジェクトをスキャンし、Stopを押す 2. 情報の解析 Processを押してスキャンデータを処理する。 3. (ﾟдﾟ)ｳﾏｰ Scanning Frameworkがスキャン処理が終わると、結果のテ クスチャメッシュを取得可能に 2023/5/17 Copyright © 2023 Takahiro Miyaura 6

• https://lightship.dev/ja/docs/ardk/scanning/getting_started.html

Babylon.js 6.0リリースされたので色々知っておきたい ○ Havok Physics in Babylon.js ✓ 参照記事はこちら Part 1 – Announcing Babylon.js 6.0 https://blogs.windows.com/windowsdeveloper/2023/04/20/part-1-announcing-babylon-js-6-0/ Havok社の物理エンジンの無償提供で話題に ○ Complete Overhaul of the Babylon.js Physics API Part 2 – Babylon.js 6.0: Key Rendering Advancements https://blogs.windows.com/windowsdeveloper/2023/04/27/part-2-babylon-js-6-0-key-rendering-advancements/ ✓ Physics APIの全面的な見直し。 ✓ 最大50倍の高速レンダリングとパフォーマンスを実現する新しいパフォーマンス優先モード ✓ 流体レンダリングが可能に！しかも、ブラウザ上で60fpsで。 ✓ スクリーンスペース反射モデルの更新。可能な限り高いパフォーマンスレベルで、シーン全体に 見事な反射をレンダリングが可能 ○ Performance Priority Modes ○ Fluid Rendering ○ Screen Space Reflections v2 ○ Texture Decals ✓ テクスチャーデカール機能を追加。メッシュのUV空間を通してデカールを投影し、マテリアル のテクスチャーにオーバーレイさせることが可能。つまりテクスチャーに落書きが可能 ○ New glTF Extensions Support ✓ 2023/5/17 KHR_materials_iridescenceとKHR_animation_pointer glTF拡張を完全にサポート Copyright © 2023 Takahiro Miyaura 7

• https://blogs.windows.com/windowsdeveloper/2023/04/20/part-1-announcing-babylon-js-6-0/
• https://blogs.windows.com/windowsdeveloper/2023/04/27/part-2-babylon-js-6-0-key-rendering-advancements/

8th wall 祝日本語対応 Sky EffectsとWorld Effectsの相互利用ができる Sky Effects（遠方のARコンテンツ用） セグメンテーションによって空部分のみにARコ ンテンツを描画する領域(3Dof)。 ※遠くにある星や月は動かないあれと同じ考え方 World Effects（近辺のARコンテンツ用） スマホ周辺の空間を使ったコンテンツを作るため の領域(6DOF) OMAKE Niantic の認証サービス使ってプレイヤーデータの 保存とかもできるようになったらしい とても大きな空間でARコンテンツを扱える Babylon.jsとも組み合わせて遊んでみたい 2023/5/17 Copyright © 2023 Takahiro Miyaura 8

Snapdragon Spaces 最近V0.13が出た(前回よりもサイクル早い) Mixed Reality Toolkitも使えるので見る機会が多い Snapdragon Spacesについてはいろいろな企業が気にしているように見える ○ Qualcommと現実世界のARをソフトウェア・ハードウェア両面からさらに加速(Nianticのニュース) https://nianticlabs.com/news/snapdragon-spaces?hl=ja 記事の中では以下のように記載されている • Niantic のLightshipビジュアルポジショニングシステム（VPS）が、2023年に開始される Qualcommの「Snapdragon Spaces」と連携 • 両社は屋外用ARヘッドセットのリファレンスデザインについての共通ビジョンを提示 - https://nianticlabs.com/news/snapdragon-spaces?hl=ja ○ Qualcomm and 7 Leading Global Operators Announce Plans to Leverage Snapdragon Spaces to Expand the Next Generation of Computing(Qualcomのニュース) https://www.qualcomm.com/news/releases/2023/02/qualcomm-and-7-leading-global-operators-announce-plans-to-levera 日本ではKDDIやNTTコノキューがSnapdragon Spaces関連で連携。デバイスの提供も視野に あるらしい。 2023/5/17 Copyright © 2023 Takahiro Miyaura 9

• https://nianticlabs.com/news/snapdragon-spaces?hl=ja
• https://www.qualcomm.com/news/releases/2023/02/qualcomm-and-7-leading-global-operators-

ちなみに。。。 Snapdragon Spaces 名前から想像される通りのクアルコムが手掛けるサービス マートフォン接続のARグラスのデバイス設計、ARグラス向け3Dアプリケーション 開発・商用化を支援するプラットフォーム 基本機能 ○ Positional Tracking 操作系 ○ Gaze Controller 環境(空間)認識 ○ Plane Detection ○ Local Spatial Anchors ○ Companion Controller ○ Image Tracking ○ Hit Testing ○ Hand Tracking ○ 6DOFによる自己位置推定 ○ 現実空間との位置合わせ ○ 現実空間とのオクルージョン等 ○ 頭の向きでフォーカスや決定 ○ スマホを3DOFコントローラ化 ○ 平面検知 ○ 画像マーカー ○ ハンドトラッキング OpenXR準拠のランタイムと様々なOpenXR拡張機能として提供されている 2023/01/18 Copyright © 2023 Takahiro Miyaura 10

Microsoft Mixed Reality関連 takabrz1 Takahiro Miyaura

引続き提供、改善も続いている。よ？ takabrz1 Takahiro Miyaura

Microsoft Mixed Reality関連 一覧はMixed Reality Feature Toolから https://learn.microsoft.com/ja-jp/windows/mixed-reality/develop/unity/welcome-to-mr-feature-tool Mixed Reality関連 ○Microsoft Azure Mixed Reality Services ○Experimental ○Mixed Reality Toolkit ○MRTK3 ○Platform Support ○ Microsoft Mixed Reality OpenXR Plugin ○and more … ○ Spatial Audio ○World Locking Tools ○Other Features ○ Microsoft Mixed Reality Webview(Preview) ○and more… ○ 2023/5/17 Copyright © 2023 Takahiro Miyaura 13

• https://learn.microsoft.com/ja-jp/windows/mixed-reality/develop/unity/welcome-to-mr-feature-tool

Microsoft Mixed Reality関連 現状はこんな感じ（概要レベル） Mixed Reality関連 ○Microsoft Azure Mixed Reality Services Mixed Realityに関連するAzureサービスのSDK ○Experimental ○Mixed Reality Toolkit ○MRTK3 ○Platform Support ○ Microsoft Mixed Reality OpenXR Plugin ○and more … ○ Spatial Audio Adaptive CardやData Binding and Themingライブラリ 現状業務で使える正式版はこっちV2.8.3 次期版として整備を進めている。今はPre.14 ○World Locking Tools ○Other Features ○ Microsoft Mixed Reality Webview(Preview) ○and more… ○ 2023/5/17 MicrosoftのOpenXR Plugin（OpenXR拡張機能などを含む）最新V1.8.0 最新版では実はね。。。 クロスプラットフォームで使えるWebViewライブラリ Preview版で先週できたばっかり Copyright © 2023 Takahiro Miyaura 14

Microsoft Mixed Reality関連 Microsoft Mixed Reality Webview(Preview) ○ほんとについ最近追加されていた クロスプラットフォームで使えるWebViewコンポーネント ○Prefabを入れてコンポーネントにURLを設定 ○現段階のPreview版では描画のみ ○ プチデモ 2023/5/17 Copyright © 2023 Takahiro Miyaura 15

Microsoft Mixed Reality関連 Microsoft Mixed Reality OpenXR Plugin V1.8.0 ○最新版でAndroidサポートがなくなった。。。 Quest関連の機能もこのライブラリはサポートしていた ○今まではMeta ○Adnroid系はUnityとかMetaのライブラリを使ってねということに。。。 そしてこれによってある問題が生まれる。それは・・・ 2023/5/17 Copyright © 2023 Takahiro Miyaura 16

続きは Tokyo HoloLens ミートアップ Vol.33で Lenovoの岩本さんと一緒に登壇します。 そう、Snapdragon Spaces + MRTK関連でね イベントサイト https://hololens.connpass.com/event/281748/ 2023/5/17 Copyright © 2023 Takahiro Miyaura 17

• https://hololens.connpass.com/event/281748/

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ