Microsoft MeshとAzure Digital Twinsを連携させてみた

1.7K Views

February 21, 24

xrmtg hololens azure microsoft mesh

スライド概要

【大阪-オンライン開催】XRミーティング 2024/02/21【AR/CR/MR/SR/VR】(https://osaka-driven-dev.connpass.com/event/309284/)登壇資料。
Microsoft Meshが先月GAされたのでらためて概要、カスタム環境（オリジナルの空間を作る機能）での実装方法（Visual Scripting/Cloud Scripting）の紹介、Cloud Scriptingで利用してカスタム環境内からAzure Digital Twinsへ情報を連携するための検証について。

Miyaura

@m-taka596

スライド一覧

ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。社内ではXR関連技術に関する啓もう活動や技術支援に従事。業務の傍ら、XR（特にMixed Reality領域）についての開発技術の調査、開発などを行っています。また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 2.47MB)

関連スライド

OpenVRやOpenXRの基本的なことを調べてみた

xrmtg openxr openvr hololens

Miyaura 16.9K

冬休みの宿題 - Lenovo Think Reality A3で検証(MRTK3含)

xrmtg mrtk3 mixed reality snapdragon spaces thinki reality a3

Miyaura 9.8K

MRTK3をLenovoのThink Reality A3上で動かす - Snapdragon Spaces SDKの紹介

hololens ホロマジ snapdragonspaces mrtk3 xr unity

Miyaura 6.7K

今更ですがちょっとMetaQuest3でMRTK3触ってみました

mixed reality xrmtg mrtk3 unity

Miyaura 5.5K

Snapdragon Spaces v0.12.0 for Unityの調査(あれも試してみてる)

xrmtg mrtk3 mixed reality snapdragon spaces think reality a3

Miyaura 5K

Mixed Reality Toolkit で OpenXRのEye Trackingを使う

hololens openxr

Miyaura 4.6K

各ページのテキスト

Microsoft Meshと Azure Digital Twinsを連携させてみた。 2024/02 XRミーティング @takabrz1 Takahiro Miyaura

Microsoft MVP for Mixed Reality 2018-2024 XRは趣味です宮浦恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近は ✓ ✓ Mixed Reality Toolkit v3.0.0(GAされた！) Snapdragon Spacesとか戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる技術Tips : https://qiita.com/miyaura https://zenn.dev/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

いつかあれがやりたいのでその前編今日のお題 ○（再）Microsoft Mesh関連の情報 ○Microsoft MeshのCustom Immersive Spacesについて ○Mesh Visual ScriptingとMesh Cloud Scripting ○あれがやりたい ○Custom Immersive Spacesでの事象をAzure Digital Twinsに反映 ○今日はここまでできている！ 2024/2/21 Copyright © 2023 Takahiro Miyaura 3

（再）Microsoft Mesh関連の情報 @takabrz1 Takahiro Miyaura

Microsoft Meshとは Microsoft Meshは2024/01/24 にGA https://learn.microsoft.com/ja-jp/mesh/overview?wt.mc_id=WDIT-MVP-5003104 We are re-imagining the way employees come together with Microsoft Mesh, a new three-dimensional (3D) immersive experience. Microsoft Mesh is not merely another innovation, but a solution that enables your distributed workforce to connect like never before in a 3D immersive space, helping virtual meetings and events feel more like face-to-face connections. サイトからの引用機械翻訳私たちは、新しい3D没入型体験であるMicrosoft Meshによって、社員が集う方法を再構築します。Microsoft Meshは、単なるイノベーションではなく、分散した従業員が3D没入型スペースでかつてないほどつながることを可能にするソリューションです。 2024/2/21 Copyright © 2023 Takahiro Miyaura 5

https://learn.microsoft.com/ja-jp/mesh/overview?wt.mc_id=WDIT-MVP-5003104

Microsoft Meshとはコンセプトを実現するために提供される3D空間の活用手段 ○Immersive Spacesの活用（Teams） ○Teams会議の中で3D没入空間での会議体験を可能にする ○カスタマイズ(Microsoft Mesh) ○既存環境のカスタマイズ https://learn.microsoft.com/en-us/mesh/overview#customize-a-ready-to-use-environment ?wt.mc_id=WDIT-MVP-5003104 ○既にある空間に装飾（動画、画像を配置）することで環境を整える ○カスタム環境の開発 https://learn.microsoft.com/en-us/mesh/overview#develop-a-custom-environment ?wt.mc_id=WDIT-MVP-5003104 ○3D空間すべてをカスタム環境として開発する参考 Meshでは3D空間そのものを環境(Environment)と定義 2024/2/21 Copyright © 2023 Takahiro Miyaura 6

Microsoft MeshとTeams PCとMeta Questの参加は組合せがある ○Teams ○Immersive Spacesでプリセットの3D空間で会議ができる ○Microsoft Mesh App(PC/Meta Quest) ○Meshポータル/アプリで設定したイベントを体験できる ○QuestについてはVR空間でMesh アバターで交流可 Mesh App Meta Quest Teams – Immersive Spaces PC Mesh App PC Mesh App Meta Quest 2024/2/21 〇〇〇 Mesh App PC × 〇〇 Copyright © 2023 Takahiro Miyaura Teams – Immersive Spaces PC 〇 × 〇 7

10.

11.

Microsoft Meshに必要なライセンス Microsoft Entra(以前の言い方だとAzure AD)下で利用 https://learn.microsoft.com/en-us/mesh/setup/content/preparing-your-organization?wt.mc_id=WDIT-MVP-5003104 ✓ M365関連のライセンスが必要 ✓ ✓ ✓ ✓ ✓ ✓ Teams Essentials Microsoft 365 Business Basic Microsoft 365 Business Standard Microsoft 365 Business Premium Microsoft 365 E3/E5 Office 365 E1/E3/E5 ✓ Meshのクライアントアプリ(PC/Android=Quest)の利用には上記に加えて ✓ Teams Premium（利用アカウント分） ✓ Azureアカウントとサブスクリプションも必要 ✓ 2024/2/21 カスタム環境を使う場合（必要に応じて） Copyright © 2023 Takahiro Miyaura つまり現時点では組織アカウントで運用が必要 11

https://learn.microsoft.com/en-us/mesh/setup/content/preparing-your-organization?wt.mc_id=WDIT-MVP-5003104

12.

Microsoft Meshの Custom Immersive Spacesについて Unityで開発できるよ @takabrz1 Takahiro Miyaura

13.

14.

カスタマイズ環境の現在の要求環境あれ使います https://learn.microsoft.com/en-us/mesh/develop/getting-started/prerequisites?wt.mc_id=WDIT-MVP-5003104 ○Unity 2022.3.7f1 ○URP(3D) ○開発スキル（Visual Scriptingを使って開発） ○Mesh Toolkit ○Meshワールドを構築するために便利なライブラリ群 ○開発そのものには不要だがMeshの環境として使うためには必要 ○M365関連のライセンス 2024/2/21 Copyright © 2023 Takahiro Miyaura 14

https://learn.microsoft.com/en-us/mesh/develop/getting-started/prerequisites?wt.mc_id=WDIT-MVP-5003104

15.

カスタマイズ環境の開発しようの紹介最初はチュートリアルMesh101がお勧め ○やり方を学びたいならチュートリアル「Mesh101」 https://learn.microsoft.com/en-us/mesh/develop/getting-started/mesh-101-tutorial/mesh-101-01-overview-and-setup?wt.mc_id=WDIT-MVP-5003104 ○ボタンの扱いやテレポート、オブジェクト操作の実装方法 ○Meshワールドへの登録～実際に使うまでの手順 ○サンプルもある https://learn.microsoft.com/en-us/mesh/develop/getting-started/samples/samples-overview?wt.mc_id=WDIT-MVP-5003104 ○いくつかの機能や、世界観を表す環境のサンプル(Mesh101含) ○空プロジェクトの作り方もあるよ https://learn.microsoft.com/en-us/mesh/develop/build-your-basic-environment/create-a-new-project-or-update?wt.mc_id=WDIT-MVP-5003104 ○Mesh Toolkitの導入 2024/2/21 Copyright © 2023 Takahiro Miyaura 15

16.

https://github.com/microsoft/Mesh-Toolkit-Unity

17.

18.

Mesh Visual ScriptingとMesh Cloud Scripting Meshのカスタム環境を作るための実装方法は大きく2つ Visual Scripting ○ ノードをつないで実装 ○ Mesh Toolkitで部品が提供 ○ 他の参加者と状態の共有/非共有が設定可 2024/2/21 ○ ○ ○ ○ Cloud Scripting C#(.NET 6)で開発できる Azure上でMeshポータルとは別管理他のサービスとも連携が可能オブジェクトや状態は自動的に共有 Copyright © 2023 Takahiro Miyaura 18

19.

20.

簡単に仕組みを説明環境インフラについての公式ドキュメント https://learn.microsoft.com/ja-jp/mesh/develop/script-your-scene-logic/cloud-scripting/cloud-scripting-setup-infrastructure?wt.mc_id=WDIT-MVP-5003104 ◼ Application Insights ◼ App Service ◼ Action Group ◼ App Service プラン（注：Premium v2 P2V2（月額22,000円超）） ◼ Log Analyticsワークスペース ◼ ストレージアカウント ◼ 仮想ネットワーク Azureポータルから変更不要 (ただし)App Serviceの料金は検証用ならスペック下げてもいいと思います。 2024/2/21 Copyright © 2023 Takahiro Miyaura 20

https://learn.microsoft.com/ja-jp/mesh/develop/script-your-scene-logic/cloud-scripting/cloud-scripting-setup-infrastructure?wt.mc_id=WDIT-MVP-5003104

21.

22.

簡単に仕組みを説明 Cloud ScriptingとUnityのHierarchy/コンポーネントの関係 Cloud ScriptingはNodeで管理する階層構造をあわせて。。。 ○ ノード部品が提供 ○ Cloud Scripting上はNodeクラスから情報を取る ○ Unityオブジェクトから情報が取れない（場合も）対応するノードをCloud Scripting内に配置しても消失はせずに複製される 2024/2/21 Copyright © 2023 Takahiro Miyaura 22

23.

[beta]

コーディング例
Cubeをクリックすると水平方向に回転する実装
public Task StartAsync(CancellationToken token){
// Cloud Scriptingの中からCubeのオブジェクトを検索
var transform = _app.Scene.FindFirstChild<TransformNode>();
// Cube内に含まれるInteractableNodeを検索
var sensor = transform.FindFirstChild<InteractableNode>();
// InteractableNodeがクリックされたときのイベントに処理を実装
sensor.Selected += (_, _) => {
// Update the angle on each click
_angle += MathF.PI / 8;
transform.Rotation = new Rotation { X = 1, Y = 0, Z = 0, Angle = _angle };
};
return Task.CompletedTask;
}
2024/2/21

Copyright © 2023 Takahiro Miyaura

23

24.

25.

26.

【基礎編】 Azure Digital Twins（ADT）について現実環境のデジタルモデルに基づいたデジタルツインを構築できるPaaS ◼ Json形式のデジタルモデル管理 ✓ デジタルモデルをDigital Twins Definition Language(DTDL)で定義 ✓ ✓ ✓ ◼ 現実環境をデジタル環境に定義する言語 Json形式で定義 PropertyとTelemetryがあるモデルに対するインスタンス（＝デジタルツイン）を管理 ✓ クエリ言語によるインスタンスの状態更新 https://docs.microsoft.com/ja-jp/azure/digital-twins/overview ◼ API,SDKによる情報の入出力現実環境のモデルをどう構築するかがキモ 2022/02/03 Copyright © 2022 Takahiro Miyaura 26

https://docs.microsoft.com/ja-jp/azure/digital-twins/overview

27.

こんなアーキテクチャで試してます。定番の構成 Azure Functions SignalR HoloLens Mesh Custom World Cloud Scriptingで空間内の情報をAzure Digital Twinsで連携させる。 Azure Functions 2024/2/21 Azure Digital Twins Event Grid Copyright © 2023 Takahiro Miyaura 27

28.

29.

資料化はまだですが。。。スクラップで情報だけ集めてます。 https://zenn.dev/miyaura/scraps/94f243e3be40a6 以下の内容を今は残しています。 ○今日話したMesh関連のリンク ○環境構築 ○チュートリアルMesh101やってみた ○Azure Digital Twins構築 ○Azure Function構築 2024/2/21 Copyright © 2023 Takahiro Miyaura 29

https://zenn.dev/miyaura/scraps/94f243e3be40a6

30.

大阪駆動開発関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ