デバイスの特徴を活かしたXRコンテンツ開発(Lenovo ThinkReality A3編)

258 Views

September 28, 23

スライド概要

【大阪】XR何でも開発勉強/体験会(https://osaka-driven-dev.connpass.com/event/294825/)
登壇資料。XRデバイスのハードの仕様をうまく使えるThinkReality A3の話について。ARグラス+スマホ両方を活用してコンテンツを作成できる #SnapdragonSpaces のDual Render Fusionを例に紹介。

profile-image

ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。 社内ではXR関連技術に関する啓もう活動や技術支援に従事。 業務の傍ら、XR(特にMixed Reality領域)についての開発技術の調査、開発などを行っています。 また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。

シェア

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

デバイスの特徴を活かしたXRコンテンツ開発 (Lenovo ThinkReality A3編) 2023/09 XR何でも開発勉強/体験会 @takabrz1 Takahiro Miyaura

2.

Microsoft MVP for Mixed Reality 2018-2024 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず)= XRは趣味です(貢献領域:Mixed Reality) 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近は ✓ ✓ Mixed Reality Toolkit v3.0.0(GAされた!) Snapdragon Spacesとか戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura https://zenn.dev/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

3.

XRコンテンツ作ってますか? 今日はデバイスの特徴を捉えると また一味違うコンテンツが作れたという話です。 2023/10/19 Copyright © 2023 Takahiro Miyaura 3

4.

今日のお題 デバイスの特徴を活かしたXRコンテンツ開発 (Lenovo ThinkReality A3編) 2023/10/19 Copyright © 2023 Takahiro Miyaura 4

5.

Lenovo ThinkReality A3とは 2023/10/19 Copyright © 2023 Takahiro Miyaura 5

6.

Lenovoの手がけるARグラス いわゆる投影部分が眼鏡型 Key Features: •Snapdragon XR-1 SmartView •Lightweight AR Glasses – <130g •Binocular 1080p resolution displays •8MP RGB Camera •Dual fish-eye cameras for 6DOF tracking •Integrated speakers and microphones •USB Type C, USB 3.1 •DisplayPort v1.4 compliant •Lenovo integrated solution support スマホはMotorola製(開発キットに付属) Snapdragon SpacesというAR開発プラットフォーム対応機器という位置づけ 2023/10/19 Copyright © 2023 Takahiro Miyaura 6

7.

Snapdragon Spaces 名前から想像される通りのクアルコムが手掛けるサービス マートフォン接続のARグラスのデバイス設計、ARグラス向け3Dアプリケーション 開発・商用化を支援するプラットフォーム 基本機能 ○ Positional Tracking 操作系 ○ Gaze Controller 環境(空間)認識 ○ Plane Detection ○ Local Spatial Anchors ○ Companion Controller ○ Image Tracking ○ Hit Testing ○ Hand Tracking ○ 6DOFによる自己位置推定 ○ 現実空間との位置合わせ ○ 現実空間とのオクルージョン等 ○ 頭の向きでフォーカスや決定 ○ スマホを3DOFコントローラ化 ○ 平面検知 ○ 画像マーカー ○ ハンドトラッキング OpenXR準拠のランタイムと様々なOpenXR拡張機能として提供されている 2023/10/19 Copyright © 2023 Takahiro Miyaura 7

8.

Lenovoの手がけるARグラス いわゆる投影部分が眼鏡型 Key Features: •Snapdragon XR-1 SmartView •Lightweight AR Glasses – <130g •Binocular 1080p resolution displays •8MP RGB Camera •Dual fish-eye cameras for 6DOF tracking •Integrated speakers and microphones •USB Type C, USB 3.1 •DisplayPort v1.4 compliant •Lenovo integrated solution support ARグラス+スマホ 体験時にスマホは どう使うと思います? スマホはMotorola製(開発キットに付属) Snapdragon SpacesというAR開発プラットフォーム対応機器という位置づけ 2023/10/19 Copyright © 2023 Takahiro Miyaura 8

9.

一般的なARグラスでコンテンツ作った場合 Snapdragon Spacesの場合、コントローラは独立したネイティブアプリ Smart Phone ARグラス Motion Controller (OpenXR) 操作をコンテンツに反映 Smart Phoneでネイティブアプリを実行し 3Dofモーションコントローラ化 2023/10/19 Copyright © 2023 Takahiro Miyaura Smart Phone タッチパッド操作 9

10.

Snapdragon Spaces Dual Render Fusionとは 2023/10/19 Copyright © 2023 Takahiro Miyaura 10

11.

Snapdragon Spaces Dual Render Fusionとは Smart Phone接続型のARグラス向けの機能(ヘッドセット向けではない) ○Dual Render Fusion 2つの 描画を 融合する 1つのコンテンツ Smart Phoneの画面描画とARグラスの空間描画を 1つのコンテンツの中で使える仕組み 2023/10/19 Copyright © 2023 Takahiro Miyaura 11

12.

Snapdragon Spaces Dual Render Fusionを使うと。。。 1つのUnityアプリとしてARグラスとSmart Phoneのディスプレイを使える ARグラス描画領域 1コンテンツで実装 Smart Phone描画領域 Smart Phone側もUnityで実装可能に より柔軟なUIやUXを実現できる! 2023/10/19 Copyright © 2023 Takahiro Miyaura 12

13.

Snapdragon Spaces Dual Render Fusionを使うと。。。 スマホ画面とARグラスをコンテンツとして利用できる ○ 例えば。。。 ○普段はスマホアプリ、必要な時にARグラスで3Dコンテンツを見る ○ARコンテンツの補助情報や操作をスマホで行う ヘッドセット型では作ることができない コンテンツ開発や体験が可能に 2023/10/19 Copyright © 2023 Takahiro Miyaura 13

14.

今日体験できるコンテンツ 2023/10/19 Copyright © 2023 Takahiro Miyaura 14

15.

今日体験できるコンテンツ 実空間で謎キャラクタを操作できるコンテンツ 空間認識によって床や机などの現実の物体の上を移動できる ARグラスとスマホ映像を同期 ARグラスの映像 左スティック キャラクタの移動 カメラの向きの変更 キャラを中心 ジャンプ 空間認識している実空間の表面をメッシュで可視化 2023/10/19 Copyright © 2023 Takahiro Miyaura 15

16.

今日体験できるコンテンツ 実空間で謎キャラクタを操作できるコンテンツ ARグラスの映像 スマホの映像 2023/10/19 Copyright © 2023 Takahiro Miyaura 16

17.

まとめ 2023/10/19 Copyright © 2023 Takahiro Miyaura 17

18.

デバイスの特徴を活かしたXRコンテンツ開発 ✓ デバイスの特徴をうまく活用する ✓ ✓ デバイスの構成(HMD、スマホ接続、PC接続)毎に特徴がある 入力インターフェースの違いも重要 ✓ 今回のデバイス「Lenovo ThinkReality A3」 ✓ ✓ スマホ接続型ARグラス Snapdragon Spacesが利用できる ✓ Dual Render Fusion(Snapdragon Spacesの面白い機能の1つ) ✓ ✓ ✓ ARグラスとSmart Phoneの描画を1つのコンテンツとして扱える スマホのアプリとして使うことも可能 必要な時だけThink Reality A3をつないでARアプリ体験も可能 持っている(使える)デバイスの特徴を踏まえて作ると 様々なコンテンツで面白い体験を実現できるのでは!? 2023/10/19 Copyright © 2023 Takahiro Miyaura 18

19.

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ