「あれ」がスマホで動くのか試してみた

>100 Views

June 16, 21

スライド概要

Tokyo HoloLens ミートアップ vol.26資料
https://hololens.connpass.com/event/214415/

MS公式のラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」(https://docs.microsoft.com/ja-jp/learn/paths/build-mixed-reality-azure-digital-twins-unity/?WT.mc_id=MR-MVP-5003104)
はHoloLens 2向けアプリが体験できるサンプルですが、これをモバイル対応できるかどうか即興調査したという話。

profile-image

ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。 社内ではXR関連技術に関する啓もう活動や技術支援に従事。 業務の傍ら、XR(特にMixed Reality領域)についての開発技術の調査、開発などを行っています。 また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。

シェア

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

「あれ」がスマホで動くのか試してみた 2021/06/16 Tokyo HoloLens Meetup vol.26 takabrz1 大阪駆動開発 Takahiro Miyaura

2.

Microsoft MVP for Windows Development 2018-2021 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず)= XRは趣味です(貢献領域:Mixed Reality) 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発コミュニティに生息 ◼ HoloLens日本販売してからXR系技術に取組む ◼ 普段はよくMixed Reality Toolkitに関する調査している ✓ ✓ ✓ リリース機能調べたり・・・ 面白い機能使ってみたり・・・ 新しい実験してフィードバックしたり・・・ 最近はこちらに Come Back気味 ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

3.

あれとはなにか・・・ 2023/2/16 Copyright © 2021 Takahiro Miyaura

4.

これ ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」 https://docs.microsoft.com/ja-jp/learn/paths/build-mixed-reality-azure-digital-twins-unity/?WT.mc_id=MR-MVP-5003104?WT.mc_id=MR-MVP-5003104 ◼ 利用サービス ✓ メインのサービス ✓ Azure IoT Hub ✓ ✓ IoTエッジの管理 テレメトリー情報の集約/ルーティング ✓ Azure Digital Twins ✓ ✓ ✓ 現実環境のモデル化 DTDL(JSON形式)で記述 これ自体はデータの入れ物 ✓ デバイス/サービス間連携 HoloLensで可視化 ✓ SignalR ✓ HoloLensへのデータ送信 (おそらく実際にはこれをシェアリングして使う) ✓ Azure Functions ベースがMRTKだから案外いけるのか? 2023/2/16 ✓ サービス間データ送信 Copyright © 2021 Takahiro Miyaura

5.

参考:アーキテクチャ ラーニングパスのアーキテクチャはこんな感じ 8 7 SignalR 2 6 Azure IoT Hub 1 Turbine 2023/2/16 5 Event Grid 3 4 Azure Digital Twins Event Grid Azure Functions Copyright © 2021 Takahiro Miyaura HoloLens

6.

完成予想図 モバイルできると・・・ SignalR Azure IoT Hub Event Grid Azure Digital Twins Turbine 2023/2/16 HoloLens Azure Functions Android iOS Copyright © 2021 Takahiro Miyaura

7.

Azure IoT Hub Event Grid Azure Digital Twins Turbine 2023/2/16 Azure Functions Copyright © 2021 Takahiro Miyaura

8.

やってみる 2023/2/16 Copyright © 2021 Takahiro Miyaura

9.

じゃじゃーん 2023/2/16 Copyright © 2021 Takahiro Miyaura

10.

う、動いた?・・・ 2023/2/16 Copyright © 2021 Takahiro Miyaura

11.

まぁ、うんって感じでした。。。 2023/2/16 Copyright © 2021 Takahiro Miyaura

12.

やり方と注意点 2023/2/16 Copyright © 2021 Takahiro Miyaura

13.

注意点 Mixed Reality Toolkit 的には全くの未検証 ラーニングパスはMRTK 2.6.1を利用 ◼ラーニングパス環境変更をしない場合・・・ ✓Unity 2020.3.8f1 ✓ARFoundation 4.1.7 ✓ARCore XR Plugin 4.1.7 ✓ARKit XR Plugin 4.1.7 2023/2/16 まだ、未サポートなものをあえてためした Copyright © 2021 Takahiro Miyaura

14.

注意点 - その2 iOS/Android対応の手順は公式でOKでも・・・ MRTKの公式手順の設定を入れるだけでほぼOK IOS および Android 用に MRTK を構成する方法 [実験的] https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrtk-unity/supported-devices/using-ar-foundation?view=mrtkunity-2021-05 ◼ほぼOKって? ✓ASP.NET Core SignalRはIL2CPPでなら一応動く(.NET standard 2.0なら) ✓iOSは変更なしで動く。 ✓Androidはデプロイ可能だがテレメトリー情報を受信すると落ちる ✓AndroidでSignalRやりたい場合は「BestHTTP(有償Asset)」等他の手段で Android資産作成時の設定の問題? 2023/2/16 Copyright © 2021 Takahiro Miyaura

15.

注意点 - その3 Bing Maps上に扇風機でない問題 ぱっと見ではちょっとお手上げ状態 ◼風車のモデルだけを空間出すと正常に出力 ◼Bing Maps上のオブジェクトだけ不可視になってる模様 ◼まだ精査していない・・・ 2023/2/16 Copyright © 2021 Takahiro Miyaura

16.

まとめ ラーニングパスのサンプルをモバイルでやってみた このサンプルはそのままで共有体験もできる説 ◼ 実はSignal R(同報発信)とAzure Digital Twinsで情報同期 ◼ つまり、遠隔地でも3Dモデルで同じ状況をチェックできる ◼ たぶん、Microsoft Meshなんか使うと素敵世界がみえるかも このサンプル何かの体験には役立ちそうですよ 皆もやってみて!楽しいよ |・ω・)b 2023/2/16 Copyright © 2021 Takahiro Miyaura

17.

おまけ:ラーニングパスを改造してみたよ Azure Maps(InDoor)追加して可視化もしてみる ◼ ラーニングパスを拡張してフロアマップ的に可視化 ◼ 先日開催の「Microsoft Build Recap Community Day」で パーソナルスポンサーとして紹介 ✓ ◼ イベントページ:https://msdevjp.connpass.com/event/213915/ サンプルコード ✓ https://github.com/TakahiroMiyaura/AzureMapsIndoorDataSamples ブラウザで平面で見るパターンを追加 2023/2/16 Copyright © 2021 Takahiro Miyaura

18.

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ 2023/2/16 Copyright © 2021 Takahiro Miyaura

19.

参考リンク ◼ ラーニングパス ✓ 「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」 https://docs.microsoft.com/ja-jp/learn/paths/build-mixed-reality-azure-digitaltwins-unity/?WT.mc_id=MR-MVP-5003104 ◼ Microsoft Build 2021 関連セション ✓ Connect IoT data to HoloLens 2 with Azure Digital Twins and Unity https://mybuild.microsoft.com/sessions/815a692f-398b-4772-ac18-c021f5116757 (ラーニングパスの解説も兼ねているのでお勧め ) 2023/2/16 Copyright © 2021 Takahiro Miyaura