Hakoniwa-unity-ar

箱庭(Hakoniwa) Unity-AR 合同会社箱庭ラボ 森崇

はじめに • この資料では、UnityのAR機能を箱庭アセットとして利⽤するための情報を 整理しています。 • • • • • • 箱庭におけるARアプリーケーションの位置付け UnityのARフレームワークの説明 AR Foundationのチュートリアル 箱庭空間とARアプリ空間の位置関係 標準のトラッキング機能あれこれ 箱庭ARアプリの実装例 補⾜︓ 箱庭空間とARアプリ空間の位置合わせについては、まだ研究中です。 2

• https://github.com/toppers/hakoniwa-unity-simasset-plugin/blob/main/README-ar.md

箱庭におけるARアプリーケーションの位置付け • 箱庭のシミュレーション空間をARアプリケーションの空間にマッピングし、 • 現実の空間に箱庭シミュレーション空間のゲームオブジェクトを可視化する 箱庭シミュレーション空間 ARアプリの空間 箱庭実⾏PC ARデバイス 現実に存在 現実に存在しない 現実の空間 現実に存在

UnityのARフレームワークの説明 • AR Foundation とは何か • AR Foundation のアーキテクチャ

5 AR Foundation とは何か • UnityのARアプリケーション作成フレームワークです。 • マルチプラットフォーム対応のARアプリケーションを作成できます。 • Google ARCore XR Plug-in(Android) • Apple ARKit XR Plug-in(iOS) • OpenXR Plug-in(HoloLens 2, Oculus Quest, …) • 様々な拡張現実技術の機能を利⽤できます。 • デバイスのカメラからの画像をレンダリングしたり、2D画像を検出して追跡したり等 • サンプルプログラム • GitHubの以下で公開されています。 • https://github.com/Unity-Technologies/arfoundation-samples

• https://docs.unity3d.com/ja/Packages/com.unity.xr.arcore@5.1/manual/index.html
• https://docs.unity3d.com/ja/Packages/com.unity.xr.arkit@5.1/manual/index.html
• https://docs.unity3d.com/Packages/com.unity.xr.openxr@1.5/manual/index.html
• https://docs.unity3d.com/ja/Packages/com.unity.xr.arfoundation@5.1/manual/index.html
• https://github.com/Unity-Technologies/arfoundation-samples

AR Foundation のアーキテクチャ 拡張現実のコア機能(トラッキング、平⾯検出、画像認識など)は、 • Subsystemとしてインタフェース定義され、各ベンダがプラグインとして機能提供している。 • Unity上のAR機能は、Managerが定義し、Unityシーン内でアタッチして利⽤する • Manager セッション カメラ <<interface>> Subsystem ・・・ セッション カメラ ・・・ アタッチ Unity シーン AR⽤ゲーム オブジェクト Apple ARKit XR Plug-in Google ARCore XR Plug-in

• https://docs.unity3d.com/ja/Packages/com.unity.xr.arfoundation@5.1/manual/architecture/subsystems.html
• https://docs.unity3d.com/ja/Packages/com.unity.xr.arfoundation@5.1/manual/architecture/managers.html

AR Foundation のチュートリアル • インストール • シーンの設定 • 以下のゲームオブジェクトがシーン内に存在しないと、AR が適切に機能しません • AR Session • ターゲットプラットフォーム上で AR を有効にする • XR Origin • デバイストラッキングを有効にしてトラッカブルを Unity の座標系に変換する

• https://docs.unity3d.com/ja/Packages/com.unity.xr.arfoundation@5.1/manual/project-setup/install-arfoundation.html
• https://docs.unity3d.com/ja/Packages/com.unity.xr.arfoundation@5.1/manual/project-setup/scene-setup.html

箱庭空間とARアプリ空間の位置関係 • 箱庭空間の原点 • 現実空間とマッピングする • 緯度・経度・⾼度を原点とする • ARアプリ空間の原点 • 箱庭空間の原点と⼀致させる • 原点を⼀致させる⽅法︓ • デバイストラッキング • ARアプリを箱庭空間の原点で起動する • 画像トラッキング • 現実空間上に配置されたマーカーからの相対位置で • 箱庭空間の原点を特定し、ずれている場合は、 • ARアプリ内の周辺環境の位置全体をシフトする • その他 • 他にもいろんな⽅法があると思います。 • 次⾴で使えそうな技術を考察。 原点 (緯度, 経度, ⾼度) ゲーム空間では、(0, 0, 0)

9 標準のトラッキング機能あれこれ トラッキング機能 トラッキング対象 トラッキング内容 考察 デバイストラッキング ARデバイス デバイスの位置と姿勢 基本路線はこれを利⽤する 平⾯検出 現実空間の⽔平⾯や垂直⾯(床や壁) 平⾯の位置、⼤きさ、形 状 床や壁との距離から位置補正に使える︖ 画像トラッキング 現実空間の2D画像(事前定義済み) 画像の位置と動き マーカーを特定ポイントにおいておけば、位置補正に 使えそう オブジェクトトラッキング 現実空間の3Dオブジェクト オブジェクトの位置と動き 対象のオブジェクトとは具体的に何者かがよくわからな いので、利⽤できそうかどうか不明（要調査） フェイストラッキング 現実空間の⼈の顔 表情や顔の動き 位置情報の利⽤には使えなさそう ボディトラッキング 現実空間の⼈の体 体全体の動き 位置情報の利⽤には使えなさそう 点群 現実空間でカメラが捉えた特徴点 特徴点までの位置 対象の点群とは具体的に何者かがよくわからないの で、利⽤できそうかどうか不明（要調査） レイキャスト 仮想世界から現実世界へレイ投射した先 の平⾯/オブジェクト 投射した先までの距離 意図して位置合わせしたい場合に使うと良さそうだけ ど、マーカーでも良いような気はする。 アンカー 現実世界の特定の点 ︖（勉強中・・） まだよくわかってないが、使えそうな予感がした。