Holographic Remoting調べてみてるよ

1.6K Views

January 21, 23

スライド概要

Tokyo HoloLens Meetup Vol.32~HoloLens日本上陸6周年記念!~登壇資料。Holographic Remotingに関することを調査した結果の情報を共有

profile-image

ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。 社内ではXR関連技術に関する啓もう活動や技術支援に従事。 業務の傍ら、XR(特にMixed Reality領域)についての開発技術の調査、開発などを行っています。 また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。

シェア

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

Holographic Remoting調べてみてるよ 2023/01 Tokyo HoloLens Meetup Vol.32 ~HoloLens日本上陸6周年記念!~ takabrz1 Takahiro Miyaura

2.

Microsoft MVP for Mixed Reality 2018-2023 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず)= XRは趣味です(貢献領域:Mixed Reality) 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近はMixed Reality Toolkit 3と戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

3.

冬休みの宿題やりましたか? 2023/01/21 Copyright © 2023 Takahiro Miyaura 3

4.

私はやっていました。 Lenovo Think Reality A3貸してもらったのでね。(岩本さんに感謝) Docs : 冬休みの宿題 - Lenovo Think Reality A3で検証(MRTK3含) https://www.docswell.com/s/m-taka596/K9JEXZ-XRMTG-MRTK3SnapdragonSpaces_ThinkRealityA3_20230118 内容的には・・・ ○ Think Reality A3(Snapdragon Spaces)触ってみた ○ MRTK3でどこまでできるチャレンジ 2023/01/21 アーカイブ動画:XRミーティング 2023/01/18 https://youtu.be/ugVHxNRjad8?t=1873 Copyright © 2023 Takahiro Miyaura 4

5.

本題 Holographic Remoting調べてみてる ちなみに、まだ全然わかっていないですw 2023/01/21 Copyright © 2023 Takahiro Miyaura 5

6.

Holographic Remoting PC側で描画した3DコンテンツをHoloLens等に描画する HoloLens等 Player側 PC remote側 2023/01/21 Copyright © 2023 Takahiro Miyaura 6

7.

Holographic Remoting 別端末で描画したコンテンツをXRデバイスに転送し利用する仕組み 一般的な使い方はUnity Editor上で使う 2023/01/21 Copyright © 2023 Takahiro Miyaura 7

8.

実はカスタマイズができる 2023/01/21 Copyright © 2023 Takahiro Miyaura 8

9.

Holographic Remoting 2系統あります OpenXR API版とWindows Mixed Reality API版 OpenXR API ○OpenXR ○Holographic Remoting API Windows Mixed Reality API ○Windows SDK ○MR系のサブセット OpenXRのMicrosoft拡張機能 ○ Mixed Reality WinRT Projectionsは.Net Standardで作 られたUnity用の透過モジュール(いわゆるラッパー) ○ いわゆるWindows ネイティブ https://learn.microsoft.com/ja-jp/windows/mixedreality/develop/native/directx-developmentoverview?tabs=openxr 詳細はMicrosoft Docsに https://learn.microsoft.com/ja-jp/windows/mixed-reality/develop/native/holographic-remoting-overview 2023/01/21 Copyright © 2023 Takahiro Miyaura 9

10.

Holographic Remoting 実はカスタマイズできる Remote側, Player側双方カスタマイズが可能 PC remote側 HoloLens等 Player側 Gitにサンプルもある https://github.com/microsoft/MixedReality-HolographicRemoting-Samples/tree/Version_2.8.1 2023/01/21 Copyright © 2023 Takahiro Miyaura 10

11.

Holographic Remoting 実はカスタマイズできる 開発はC++なのですがStereokitでRemote側作ろうとするプロジェクトは見つけた Gitはこちら https://github.com/StereoKit/StereoKit.HolographicRemoting 2023/01/21 Copyright © 2023 Takahiro Miyaura 11

12.

Holographic Remoting カスタムすると使える機能 Player, Remoting双方をカスタムするときに便利なもの カスタムデータチャネル ○ストリーミングと別に送受信可能 ○コンテンツの裏側で使う制御系の 機能に使えそう 2023/01/21 座標系の同期 ○ユーザ座標系をRemote側で使える ○現実空間の決まった位置で Remotingのアプリを描画できる Copyright © 2023 Takahiro Miyaura 12

13.

Holographic Remoting できること – ユーザ座標系 Player側のアプリで使う座標系をRemote側で逆引きして利用できる HoloLens側でPlayerで ストリーミングされてるコンテンツ PC側でRemoteで 表示してるコンテンツ 2023/01/21 Copyright © 2023 Takahiro Miyaura 13

14.

Holographic Remoting できること – ユーザ座標系 Player側のアプリで使う座標系をRemote側で逆引きして利用できる Remote(PC)側の描画が ストリーミングされて描画 Remote(PC)側で HoloLensの座標系を参照して Remote(PC)側で描画 HoloLens側でPlayerで 生成したCube HoloLensの座標系(起動位置が原点) 青いCubeはPlayer(HoloLens)側で描画した ものなのでこちらには描画されない 2023/01/21 Copyright © 2023 Takahiro Miyaura 14

15.

多分気になってるであろうあれ 2023/01/21 Copyright © 2023 Takahiro Miyaura 15

16.

想像するに 他のXRデバイスでHolographic Remotingするには・・・ ○ Microsoft.Holographic.Remoting.OpenXrを作る しかないっぽいですよ(今調べた範囲では) ○ この機能はOpenXR APIのMicrosoft拡張機能(Notコア機能) ○ 拡張機能とは、ハードウェアソフトウェア機能のベンダーが独自に追加できる機能 ○ 何がOpenXR APIになって変わったの? ○ OpenXRのインターフェース仕様で使える ○ 実際内部はWindows SDKのMixed Reality系ライブラリを使っているっぽい 2023/01/21 Copyright © 2023 Takahiro Miyaura 16

17.

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ 17

18.

前夜祭で Think Reality A3 体験会もある! 大阪駆動開発イベント告知! 対象をHoloLens 2含むMRデバイスに広げました イベント名:Osaka MR ハッカソン2023 日程:チームビルド 2023年2月18日(土) 成果発表 2023年2月26日(日) ※2/18~2/25がハック期間! 会場:オンライン(配信は大阪!) 成果発表は各地でパブリックビューイング予定 主催: 大阪駆動開発/HoloMagicians 地域コミュニティと協力開催 (DoMCN, 福岡XR部, XR信州) ハッカソン 申込み& 詳細はこちら MR ハッカソン前夜祭 Think Reality A3体験はこちら 共催:ユニティ・テクノロジーズ・ジャパン株式会社 協力:日本マイクロソフト株式会社など 2023/01/21 Copyright © 2023 Takahiro Miyaura 18