MRTKハンズオン

6.6K Views

February 16, 23

スライド概要

profile-image

可視化技術や人間計測/空間計測技術を活用した問題解決に関する研究開発。 ARコンテンツ作成勉強会(AR_Fukuoka)を主催。

シェア

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

ARコンテンツ作成勉強会 ノンプログラミングで始めるAR開発 with MRTK

2.

始める前にダウンロードを済ませよう http://arfukuoka.lolipop.jp/mrtk/Sample.zip

3.

SDKのダウンロード (1/3) https://github.com/Microsoft/MixedRealityToolkit-Unity Releases

4.

SDKのダウンロード (2/3) 少し下にスクロール 今回はMicrosoft Mixed Reality Toolkit v2.8.3を使用

5.

SDKのダウンロード (3/3) Foundation.2.8.3.unitypackageをダウンロード Foundation.2.8.3.unitypackage

6.

今日の内容 MRTKを使ったオブジェクトの表示と手を使った操作

7.

Unity Hub起動 Unity Hub

8.

プロジェクトの作成 (1/6) ①Projects ②New Project

9.

プロジェクトの作成 (2/6) ここをクリック

10.

プロジェクトの作成 (3/6) 2020.3.X

11.

プロジェクトの作成 (4/6) 3D

12.

プロジェクトの作成 (5/6) プロジェクト名(例: Day03) 保存場所 Create Project

13.

プロジェクトの作成 (6/6) Unity Editorが起動すればOK

14.

MRTKのインストール Assets ->Import Package ->Custom Package

15.

MRTKのインストール Microsoft.MixedReality.Toolkit.Unity. Foundation.2.8.3.unitypackage Open

16.

MRTKのインストール Import

17.

MRTKのインストール Built-in Unity plugins

18.

MRTKのインストール Skip Setup Until Next Session

19.

空間にCGを追加しよう (1/3) 何も選択していない状態で 空白を右クリック

20.

空間にCGを追加しよう (2/3) ① 3D Object ② Quad

21.

空間にCGを追加しよう (3/3) 四角形が追加される ※角度によっては見えない

22.

Scene内の視点の変更 [←][→]で左右移動 [↑][↓]でズームイン/アウト [Alt]+ドラッグで回転 +ドラッグで上下左右

23.

Quadが見えなくなってしまった場合 Quadをダブルクリック Hierarchy内のオブジェクトのダブルクリックでオブジェクトを視界の中央に

24.

数値入力による位置・向き・サイズ調整 Quad [下記設定にする] Positionを 0 0 1 Rotation 0 0 0 Scale 0.3 0.3 0.3

25.

Scene内の視点の調整 拡大・縮小や移動により見づらくなった

26.

Scene内の視点の変更 (再) Quadをダブルクリック Hierarchy内のオブジェクトのダブルクリックでオブジェクトを視界の中央に

27.

Next Step Quadにテクスチャを適用

28.

マテリアルの作成 Assetsを右クリック

29.

マテリアルの作成 Create -> Material

30.

マテリアルの作成 TextureMaterialにリネーム

31.

マテリアルの作成 Quad Materialsを開く

32.

マテリアルの適用 TextureMaterialをElement0に ドラッグ&ドロップ

33.

テクスチャを適用してみよう

34.

テクスチャの適用 TextureMaterial直下の ドロップダウンを開く

35.

テクスチャの適用 (1/8) Transparent Unlit

36.

テクスチャの適用 TextureMaterialを開く 後ほど画像をセットする

37.

テクスチャの適用 Sampleフォルダ png画像をAssetsに ドラッグ&ドロップ

38.

テクスチャの適用 Quad TextureMaterialを開く

39.

テクスチャの適用 png画像をNone(Texture)に ドラッグ&ドロップ

40.

テクスチャの適用 テクスチャが 適用される

41.

現状を保存 File -> Save As...

42.

現状を保存 ①MRTK_Sample ②Save

43.

現状を保存 MRTK_SampleができていればOK

44.

次回以降は Ctrl / Command + S で上書き保存可能

45.

ここからようやくMRTK

46.

始めに実現すること UnityEditor内で移動や手を使った操作を行う準備

47.

MRTK用のカメラや表示の設定 MixedReality ->ToolKit ->Add to Scene and Configure

48.

MRTK用のカメラや表示の設定 MixedRealityに関する オブジェクトが追加される

49.

動作確認 Play

50.

動作確認 [A][D]で左右移動 [W][S]でズームイン/アウト [Q][E]で上下移動 右クリック+ドラッグで回転

51.

動作確認 [Shift]で左手を表示 [Space]で右手を表示 手を表示した状態+ [クリック]でつまむ [スクロール]で前後移動 ※今のところオブジェクトは操作できない

52.

動作確認 Playを再度クリックして停止

53.

オブジェクトを手で操作しよう

54.

Quadを操作可能にする ① Quad ② Add Component

55.

Quadを操作可能にする Objectで検索 ObjectManipulatorを選択

56.

Quadを操作可能にする ① Quad ➁ ObjectManipulator が追加される

57.

動作確認 Play

58.

片手での操作

59.

動作確認 ShiftまたはSpaceで手を表示

60.

動作確認 指の先から出ているカーソルを合わせる

61.

動作確認 ドラッグして移動

62.

両手での操作

63.

動作確認 Shiftで左手を表示

64.

動作確認 ① カーソルを合わせてクリック ② [T]を押下して手を固定

65.

動作確認 Spaceで右手を表示

66.

動作確認 カーソルを合わせてドラッグ

67.

動作確認 前後左右に動かして回転・拡大縮小

68.

自作のオブジェクトを追加しよう (今回は事前に用意したオブジェクト)

69.

OBJファイルを追加 Assets

70.

OBJファイルを追加 Sampleフォルダ → Model

71.

OBJファイルを追加 ModelフォルダをAssetsに ドラッグ&ドロップ

72.

OBJファイルを追加 Model

73.

OBJファイルを追加 model.obj

74.

OBJファイルを追加 Hierarchyにドラッグ&ドロップ

75.

オブジェクトの微調整 model 椅子を適当な位置に配置 Position 0.5 0 1

76.

カーソルや手との接触判定 接触判定をするにはmodel.objに Colliderを追加する必要がある

77.

Colliderの追加 (1/5) ① model ② Add Component

78.

Colliderの追加 (2/5) ① Boxで検索 ② Box Collider

79.

Colliderの追加 (3/5) バウンディングボックスが表示される

80.

Colliderの追加 (4/5) ① model ② Edit Collider

81.

Colliderの追加 (5/5) 各面の■を動かして大きさを編集

82.

椅子を手で操作可能にする (1/3) ① model ② Add Component

83.

椅子を手で操作可能にする (2/3) ① objectで検索 ② ObjectManipulator

84.

椅子を手で操作可能にする (3/3) ① model ② ObjectManipulatorが追加される

85.

両手操作時はScaleのみにする ① model ②Two Hand Manipulation Type をScaleのみにする

86.

動作確認

87.

パフォーマンスの表示を消す これを消す

88.

MRTKの詳細設定 ① MixedRealityToolKit ② Mixed Reality Toolkit の下のドロップダウンメニュー

89.

MRTKの詳細設定 ① MixedRealityToolKit ② DefaultHololens2ConfigurationProfile

90.

MRTKの詳細設定 Clone

91.

MRTKの詳細設定 ① ProfileNameをHolo2 MixedRealityToolkit... に変更 (NewをHolo2に変えるだけ) ② Clone

92.

MRTKの詳細設定 ① Diagnostics ② Enable Diagnostics System のチェックを外す

93.

動作確認 パフォーマンス表示が消えた

94.

実機へのインストール  HoloLens2  ARFoundation(ARKit/ARCore)

95.

実機へのインストール  HoloLens2  ARFoundation(ARKit/ARCore)

96.

Build Setting for HoloLens2 File

97.

Build Setting for HoloLens2 Build Setting

98.

Build Setting for HoloLens2 ① Universal Windows Platform ② Switch Platform

99.

Build Setting for HoloLens2 Show Setting

100.

Build Setting for HoloLens2 Windows MixedRealityをオン

101.

Build Setting for HoloLens2 Next

102.

Build Setting for HoloLens2 Apply

103.

Build Setting for HoloLens2 Next

104.

Build Setting for HoloLens2 Import TMP Essentials

105.

Build Setting for HoloLens2 Done

106.

Build for HoloLens2 Build

107.

Build for HoloLens2 New Folder

108.

Build for HoloLens2 buildに名前を変更

109.

Build for HoloLens2 ① buildを選択 ② フォルダーの選択

110.

しばらく待つ

111.

Build for HoloLens2 buildを開く

112.

Build for HoloLens2 ソリューション(*.sln)をVisualStudio2019で開く

113.

Build for HoloLens2 Release ARM

114.

Build for HoloLens2 ▼

115.

Build for HoloLens2 デバイス

116.

HoloLens2とPCをUSBで接続

117.

Build for HoloLens2 ① デバッグ ② デバッグなしで開始

118.

動作の様子

120.

実機へのインストール  HoloLens2  ARFoundation(ARKit/ARCore)

121.

実機へのインストール  HoloLens2  ARFoundation(ARKit/ARCore)

122.

ARFoundationの導入 Window

123.

ARFoundationの導入 Package Manager

124.

ARFoundationの導入 Unity Registry

125.

ARFoundationの導入 ARで検索

126.

ARFoundationの導入 AR Foundation

127.

ARFoundationの導入 Install

128.

ARFoundationの導入 Close

129.

ここからiOS向けの手順 (Androidユーザーはちょっと待ってて)

130.

ARKitの導入 (for iOS) ① ARKit XR Plugin ② Install

131.

ここからAndroid向けの手順 (iOSユーザーはちょっと待ってて)

132.

ARCoreの導入 (for Android) ① ARCore XR Plugin ② Install

133.

ここからARCore/ARKit共通

134.

Build Setting for ARFoundation MixedRealityToolkit

135.

Build Setting for ARFoundation Clone

136.

Build Setting for ARFoundation Mobile MixedReality Toolkit...に変更 Clone

137.

Build Setting for ARFoundation Mobile MixedRealityToolig...を選択

138.

Build Setting for ARFoundation ① Camera ② Clone

139.

Build Setting for ARFoundation ① ProfileNameをSample1 MixedRealityCameraProfile に変更 (NewをMobileに変えるだけ) ② Clone

140.

Build Setting for ARFoundation Camera Setting Providers

141.

Build Setting for ARFoundation Windows Mixed Reality Camera Settings

142.

Build Setting for ARFoundation Typeに注目

143.

Build Setting for ARFoundation ドロップダウンを開く

144.

Build Setting for ARFoundation ① MicrosoftMixedReality.Toolkit.Experimental.UnityAR ② UnityARCameraSetting

145.

Build for ARFoundation File

146.

Build for ARFoundation Build Settings...

147.

Build for ARKit(iOS) ① iOS ② Switch Platform

148.

Build for ARCore(Android) ① Android ② Switch Platform

149.

Build for ARFoundation Apply

150.

Build for ARFoundation Player Settings...

151.

ここからiOS向けの手順 (Androidユーザーはちょっと待ってて)

152.

Build for ARKit(iOS) Other Settings

153.

Build for ARKit(iOS) Bundle Identifierを設定 例) com.Yoshinaga.ARFukuoka

154.

Build for ARKit(iOS) Strip Engine CodeをOff

155.

ここからAndroid向けの手順 (iOSユーザーはちょっと待ってて)

156.

Build for ARCore(Android) Package Nameを設定 例)com.yourname.arfukuoka

157.

ARCore/ARKitそれぞれの方法で ビルドして実機にインストールしてください