デバイスの特徴を活かしたXRコンテンツ開発(Lenovo ThinkReality A3編)

デバイスの特徴を活かしたXRコンテンツ開発 (Lenovo ThinkReality A3編) 2023/09 XR何でも開発勉強/体験会 @takabrz1 Takahiro Miyaura

Microsoft MVP for Mixed Reality 2018-2024 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality） 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近は ✓ ✓ Mixed Reality Toolkit v3.0.0(GAされた！) Snapdragon Spacesとか戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura https://zenn.dev/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

• https://qiita.com/miyaura
• https://zenn.dev/miyaura

XRコンテンツ作ってますか？ 今日はデバイスの特徴を捉えると また一味違うコンテンツが作れたという話です。 2023/10/19 Copyright © 2023 Takahiro Miyaura 3

今日のお題 デバイスの特徴を活かしたXRコンテンツ開発 (Lenovo ThinkReality A3編) 2023/10/19 Copyright © 2023 Takahiro Miyaura 4

Lenovo ThinkReality A3とは 2023/10/19 Copyright © 2023 Takahiro Miyaura 5

Lenovoの手がけるARグラス いわゆる投影部分が眼鏡型 Key Features: •Snapdragon XR-1 SmartView •Lightweight AR Glasses – <130g •Binocular 1080p resolution displays •8MP RGB Camera •Dual fish-eye cameras for 6DOF tracking •Integrated speakers and microphones •USB Type C, USB 3.1 •DisplayPort v1.4 compliant •Lenovo integrated solution support スマホはMotorola製（開発キットに付属） Snapdragon SpacesというAR開発プラットフォーム対応機器という位置づけ 2023/10/19 Copyright © 2023 Takahiro Miyaura 6

Snapdragon Spaces 名前から想像される通りのクアルコムが手掛けるサービス マートフォン接続のARグラスのデバイス設計、ARグラス向け3Dアプリケーション 開発・商用化を支援するプラットフォーム 基本機能 ○ Positional Tracking 操作系 ○ Gaze Controller 環境(空間)認識 ○ Plane Detection ○ Local Spatial Anchors ○ Companion Controller ○ Image Tracking ○ Hit Testing ○ Hand Tracking ○ 6DOFによる自己位置推定 ○ 現実空間との位置合わせ ○ 現実空間とのオクルージョン等 ○ 頭の向きでフォーカスや決定 ○ スマホを3DOFコントローラ化 ○ 平面検知 ○ 画像マーカー ○ ハンドトラッキング OpenXR準拠のランタイムと様々なOpenXR拡張機能として提供されている 2023/10/19 Copyright © 2023 Takahiro Miyaura 7

Lenovoの手がけるARグラス いわゆる投影部分が眼鏡型 Key Features: •Snapdragon XR-1 SmartView •Lightweight AR Glasses – <130g •Binocular 1080p resolution displays •8MP RGB Camera •Dual fish-eye cameras for 6DOF tracking •Integrated speakers and microphones •USB Type C, USB 3.1 •DisplayPort v1.4 compliant •Lenovo integrated solution support ARグラス＋スマホ 体験時にスマホは どう使うと思います？ スマホはMotorola製（開発キットに付属） Snapdragon SpacesというAR開発プラットフォーム対応機器という位置づけ 2023/10/19 Copyright © 2023 Takahiro Miyaura 8

一般的なARグラスでコンテンツ作った場合 Snapdragon Spacesの場合、コントローラは独立したネイティブアプリ Smart Phone ARグラス Motion Controller (OpenXR) 操作をコンテンツに反映 Smart Phoneでネイティブアプリを実行し 3Dofモーションコントローラ化 2023/10/19 Copyright © 2023 Takahiro Miyaura Smart Phone タッチパッド操作 9

Snapdragon Spaces Dual Render Fusionとは 2023/10/19 Copyright © 2023 Takahiro Miyaura 10

Snapdragon Spaces Dual Render Fusionとは Smart Phone接続型のARグラス向けの機能（ヘッドセット向けではない） ○Dual Render Fusion ２つの 描画を 融合する 1つのコンテンツ Smart Phoneの画面描画とARグラスの空間描画を １つのコンテンツの中で使える仕組み 2023/10/19 Copyright © 2023 Takahiro Miyaura 11

Snapdragon Spaces Dual Render Fusionを使うと。。。 1つのUnityアプリとしてARグラスとSmart Phoneのディスプレイを使える ARグラス描画領域 1コンテンツで実装 Smart Phone描画領域 Smart Phone側もUnityで実装可能に より柔軟なUIやUXを実現できる！ 2023/10/19 Copyright © 2023 Takahiro Miyaura 12

Snapdragon Spaces Dual Render Fusionを使うと。。。 スマホ画面とARグラスをコンテンツとして利用できる ○ 例えば。。。 ○普段はスマホアプリ、必要な時にARグラスで3Dコンテンツを見る ○ARコンテンツの補助情報や操作をスマホで行う ヘッドセット型では作ることができない コンテンツ開発や体験が可能に 2023/10/19 Copyright © 2023 Takahiro Miyaura 13

今日体験できるコンテンツ 2023/10/19 Copyright © 2023 Takahiro Miyaura 14

今日体験できるコンテンツ 実空間で謎キャラクタを操作できるコンテンツ 空間認識によって床や机などの現実の物体の上を移動できる ARグラスとスマホ映像を同期 ARグラスの映像 左スティック キャラクタの移動 カメラの向きの変更 キャラを中心 ジャンプ 空間認識している実空間の表面をメッシュで可視化 2023/10/19 Copyright © 2023 Takahiro Miyaura 15

今日体験できるコンテンツ 実空間で謎キャラクタを操作できるコンテンツ ARグラスの映像 スマホの映像 2023/10/19 Copyright © 2023 Takahiro Miyaura 16

まとめ 2023/10/19 Copyright © 2023 Takahiro Miyaura 17

デバイスの特徴を活かしたXRコンテンツ開発 ✓ デバイスの特徴をうまく活用する ✓ ✓ デバイスの構成（HMD、スマホ接続、PC接続）毎に特徴がある 入力インターフェースの違いも重要 ✓ 今回のデバイス「Lenovo ThinkReality A3」 ✓ ✓ スマホ接続型ARグラス Snapdragon Spacesが利用できる ✓ Dual Render Fusion（Snapdragon Spacesの面白い機能の1つ） ✓ ✓ ✓ ARグラスとSmart Phoneの描画を1つのコンテンツとして扱える スマホのアプリとして使うことも可能 必要な時だけThink Reality A3をつないでARアプリ体験も可能 持っている（使える）デバイスの特徴を踏まえて作ると 様々なコンテンツで面白い体験を実現できるのでは！？ 2023/10/19 Copyright © 2023 Takahiro Miyaura 18

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ