AIでXRアプリが作れる時代に、開発者は何を知っておくべきか?

1.8K Views

November 17, 26

スライド概要

profile-image

リアルタイム3Dコンテンツを制作・運用するための世界的にリードするプラットフォームである「Unity」の日本国内における販売、サポート、コミュニティ活動、研究開発、教育支援を行っています。ゲーム開発者からアーティスト、建築家、自動車デザイナー、映画製作者など、さまざまなクリエイターがUnityを使い想像力を発揮しています。

Docswellを使いましょう

(ダウンロード不可)

関連スライド

各ページのテキスト
2.

本資料に関する注意事項 本資料は、⼀般的な情報提供⽬的で作成されたものであり、本資料に記載したいかな る内容も、契約内容を構成するものではありません。 いかなる購買決定も、本資料に基づいてされることのないようにご注意ください。 本資料に記載したいかなる機能、コード、サービス内容についても、提供をお約束す るものではありません。 本資料に記載した製品、サービス、機能の開発およびリリース時期については、Unity の判断により決定され、変更の可能性があります。

3.

AIでXRアプリが 作れる時代に、 開発者は何を 知っておくべきか? XR の当たり前を、AI と作るときに確かめる

4.

Speaker ⾼橋 忍 Unity Technologies Japan Senior Solutions Architect

8.

Agenda Agenda XR 開発の現在地 AI による XR アプリ開発 まとめ

9.

XR 開発の現在地 増えるデバイスと、共通の基盤とノウハウ

10.

XR Apps Real Augmented Reality AR Virtual Mixed Reality MR Virtual Reality VR

11.

XRデバイスの現在地 Real Virtual 全部に個別最適化 = 破綻 Augmented Reality AR Mixed Reality MR スマホ AR スマートグラス 光学シースルー MR iOS(ARKit)‧ Android(ARCore) XREAL など (軽量‧シースルー) HoloLens Magic Leap 2 Virtual Reality VR ビデオパススルー MR Meta Quest 3 / 3S Apple Vision Pro Samsung Galaxy XR HTC VIVE(Focus Vision) VR

12.

XR OS / プラットフォーム MR ビデオパススルー MR ‧VR Meta Quest 3 / 3S Meta Horizon OS Apple Vision Pro Samsung Galaxy XR visionOS Android XR 全部を個別開発 = 破綻

13.

XR 開発の現在地 Unity XR の構成 XR Plug-in Management + OpenXR デバイスごとのプロバイダーを選ぶ(Unity OpenXR: Meta、Android XR など) XR Interaction Toolkit(XRI) AR App VR App MR App XR Interaction Toolkit AR Foundation XR Origin、つかむ‧押す‧移動‧UI XR Hands XR Core Utilities XR Hands ⼿と指の関節。ハンドトラッキングの共通 API AR Foundation 平⾯、アンカー、パススルー(MR) ⼀度作れば、複数のデバイスへ。 特定の SDK に偏らない XR Plugin Management OpenXR Plugin visionOS Plugin Other Plugins

14.

XR 開発の現在地 XR Hands 役割 ⼿と指の 26 の関節を、デバイスによらない共通の API で受け取る。XRI のハンド操作は、この上に乗っている 注意点 OpenXR で Hand Tracking Subsystem、Quest のレイ には Meta Hand Tracking Aim も。⼿のモデルは Quest と Android XR で別。ジェスチャーは実機で確かめる XRHand / XRHandJoint Hand Visualizer Hand Gesture XR Hand Capture ⼿と指の関節ごとの位置‧向きと、追 跡できているかを毎フレーム受け取 る。⼿を使う機能の出発点 ⼿のメッシュや関節を表⽰するサン プル。デバイスが⼿のメッシュを 持っていれば、それを使って表⽰す る 決まった⼿の形(グー、指差しな ど)や、⾃分で定義した形を検出す る。どの形を何の操作にするかは体 験の判断 実機で⼿の動きを録って、エディタ で再⽣できる。ジェスチャーを作る ときの素材になる

15.

XR 開発の現在地:ハンド ハンドトラッキング グラスデバイスでは、コントローラーを持たずに ⼿で操作するのが前提になる

16.

XR 開発の現在地:ハンド ボタンがない分は、ジェスチャーで補う モーションコントローラー ハンドトラッキング ボタンとスティックがある ボタンがない → ジェスチャー 決定‧移動‧メニューを、ボタンとスティックに割り当てられる。押した‧ 倒したは確実に伝わる ⼿の形を操作に割り当てて補う。誤認識もしやすい諸刃の剣なので、形の定 義と判定の閾値が⼤事

17.

XR 開発の現在地:ハンド 解決例:⼿だけでテレポートする 使うもの XR Interaction Toolkit 3.5 以降の Hands Interaction Demo 操作の流れ ⼿⾸を返して指で L 字を作ると、レイが出る つまんで移動先を決める ⼿を回すと、着いたときの向きも同時に決まる

18.

XR 開発の現在地:ジェスチャー ジェスチャーは3ステップで作る XR Hands のサンプルを使い、録る → 形を作る → 判定する の順に進める ① 録る ② 形を作る ③ 判定する Gesture Capture サンプルで、実機の⼿の形をレ コーディングする 録ったデータを取り込み、Hand Shape と Hand Pose を作る Hand Visualizer サンプルで、形が判定されるかを 確かめる

19.

XR 開発の現在地:ジェスチャー ① 録る:実機で⼿の形をレコーディング 使うもの XR Hands の Hand Capture サンプル やること 作りたい⼿の形を実機で作り、そのまま録る ポイント 録ったデータはエディタで再⽣できる。何度もヘッドセッ トをかぶらずに確かめられる

20.

XR 開発の現在地:ジェスチャー ② 形を作る:Hand Shape と Hand Pose Hand Shape 5本の指ごとに、曲がり‧伸びなど 5種類の状態を決める 取り込む(Hand Shape) 録ったデータをプロジェクトに取り 込み、Unity Editor 内の XR Hand Capture パネルで開く。使⽤したい ポーズを決めたら、準備しておいた Hand Shape オブジェクトに上書き する。 [画像] XR ウィンドウで Hand Shape / Pose を作る画⾯

21.

XR 開発の現在地:ジェスチャー ② 形を作る:Hand Shape と Hand Pose Hand Pose Hand Shape にさらに、⼿の向きなどの条件 を追加したもの。 定義する Hand pose オブジェクトを作成して、 Inspector で開き、ベースとなるHand Shape を読み込む。さらに、Relative Orientation の 項⽬に条件を追加していき、細かい⼿の向き などの条件を追加する。 [画像] XR ウィンドウで Hand Shape / Pose を作る画⾯

22.

XR 開発の現在地:ジェスチャー ③ 判定する:⼀致度に閾値を決める 確かめる Hand Visualizer サンプルで、⼿を動かしながら判定の結 果を⾒る 閾値 API で⼀致度(%)を受け取る。閾値(例:70%)を決 め、中途半端な形では反応させない 割り当て 判定は毎フレーム⾏い、成⽴したときの操作を決める

23.

XR 開発の現在地:ジェスチャー 判定 API は⽬的に合わせて使い分ける ① コア判定 API ② ⾼レベル検出 API CheckConditions StaticHandGesture Hand Shape / Hand Pose アセットの条件を、今の⼿がすべて満たす かを判定する。最初に外れた条件で打ち切るので軽い Gestures サンプルのコンポーネント。Shape か Pose を指定するだけ で検出でき、保持時間と検出間隔で誤検出と負荷を調整 bool XRHandShape.CheckConditions( XRHandJointsUpdatedEventArgs eventArgs) // XRHandPose にも同じ形のメソッドがある // 主なイベント Gesture Performed Gesture Ended 戻り値 使い⽅ bool 全条件を満たせば true 形が成立したとき 形が崩れたとき Inspector でイベントに処理をつなぐだけ。コード不要 ③ ⼀致度を算出する API ④ 指ごとの⽣の値を取る低レベル API HandShapeCompletenessCalculator XRFingerShapeMath 各指の条件への近さを平均し、⼀致度を 0.0〜1.0 で返す(Gestures サンプル)。閾値(例:0.7)と組み合わせて判定する XRHand の拡張メソッド CalculateFingerShape で、指ごとの Full Curl‧Base Curl‧Tip Curl‧Pinch‧Spread の値を直接取り出す。ア セットを使わず、独⾃の判定ロジックを組みたいときに使う bool TryCalculateHandShapeCompletenessScore( XRHand hand, XRHandShape handShape, out float score) 戻り値 bool 計算できたら true、score に 0.0〜1.0

24.

XR 開発の現在地:まとめ ハンド操作が XR の前提に XR Hands で⼿の形を定義し、 ジェスチャーで新しい操作を設計する

25.

AI による XR アプリ開発 検証から導いた、AI と開発するための⼿順

26.

AI による XR アプリ開発 ⽬的:AI と XR アプリを開発する⼿順を、検証から導く 検証 1 検証 2 対策 応⽤ ⼀⽂の依頼で作成 XR の知識を付与 開発⼿順の定義 機能追加への適⽤ 前提知識を渡さずに、AI はどこまで XR アプリを作 れるか XR の知識をスキルとして 渡すと、実機で使えるア プリになるか 知識‧完了報告‧実機検 証の⼿順を定める 定めた⼿順で、実際に機 能を追加する 検証環境:Unity 6000.3、Meta Quest 3、Claude Code∕Unity AI Assistant(2026 年 10〜11 ⽉) 採点:XR の基本要件 9 項⽬を ○∕△∕× で評価(18 点満点)

27.

検証 1: ⼀⽂の依頼で作成 前提知識を渡さずに、AI はどこまで作れるか

28.

検証 1:一文の依頼 検証 1:⼀⽂の依頼 ⼀⽂の依頼で VR アプリを作成 ❯ Unityで VR のショールームアプリを作ってください。 部屋の中を歩き回れて、展⽰されている商品を⼿に取ったり、 商品の説明パネルを⾒たりできるようにしてください。 Quest 3 で動かします。

30.

B2_no-hands.mp4 検証 1:⼀⽂の依頼 事例 1:ハンドトラッキングが実装されない ⼀⽂の依頼のみ ⼿が表⽰されず、操作できない XR Hands とハンド⽤の⼊⼒設定が未導⼊。コン トローラーを置くと、すべての操作ができなくな る

31.

検証 1:⼀⽂の依頼 事例 2:移動時のビネットが実装されない ⼀⽂の依頼のみ スムーズ移動時に視野の制限が ない 視覚上の移動と⾝体感覚のずれが⼤きく、VR 酔 いを招きやすい

32.

検証 1:⼀⽂の依頼 同⼀の依頼による 5 回の作成結果 0/5 0/5 5/5 ハンド操作を実装 移動時のビネットを実装 作業完了と報告

33.

検証 1:一文の依頼 XR の必須要件は、 知識として事前に AI へ渡す ハンド、ビネット、Run In Background などの実装⽅針 を、AI が作業前に参照できる形で⽤意する

34.

検証 2: XR の知識を付与 XR の知識をスキルとして AI に渡した場合

35.

検証 2:XR の知識を付与 検証 1 を踏まえ、XR の知識をスキルとして作成 検証 1 で実装されなかった項⽬を、AI が判断に迷わない形式(数値‧必須ルール‧禁⽌事項)で記載 数値で⽰す # Unity XR 開発スキル( SKILL.md 抜粋) 読むパネルは 1.0〜2.0 m、押すパネルは 0.4〜0.6 m。リ フレッシュレートを常に維持 ## 必須ルール ### 2. 入力 - コントローラーとハンドの両方で操作できるようにする ### 3. 移動と快適性 - スムーズ移動には必ずビネットを付ける ### 4. UI - 読むパネルは約 1.0〜2.0 m、押すパネルは約 0.4〜0.6 m ### 6. 実機でだけ壊れる設定 - Run In Background をオンにする 必須ルールとして⽰す コントローラーとハンドの両⽅に対応。スムーズ移動には ビネット。Run In Background をオン 禁⽌事項として⽰す Screen Space の UI、ビネットなしのスムーズ移動、警告 を残したままの完了報告 ## やってはいけないこと - Project Validation の警告を残したまま「完了」と報告する

36.

検証 2:XR の知識を付与 知識の付与で基本要件は実装、実機での操作に課題が残る 実装された基本要件 実機で課題が残った操作 ハンドトラッキング テレポートによる移動 移動時のビネット 物をつかむ操作 Run In Background (メニュー表⽰中の停⽌を防⽌) ハンドによる移動 アンチエイリアス(MSAA) いずれも、AI が実機で検証できない操作 Project Validation の警告 0 件 検証 3 回の得点:17 点∕12 点∕15 点(18 点満点)。同⼀条件でも結果にばらつきがある

37.

B2_no-hands.mp4 検証 2:XR の知識を付与 事例 1:ハンドは表⽰されるが、物をつかめない XR の知識を付与 つかむ操作が機能しない つかむ操作の設定に不整合があった。AI はコード からの起動のみで確認済みと報告し、実際の⼊⼒ では検証していない

38.

検証 2:XR の知識を付与 事例 2:完了報告から漏れた警告が、テレポートを停⽌させていた AI の完了報告 Project Validation の警告:1 件(SSAO) Project Validation の実際の表⽰ 警告:2 件(SSAO、Interaction Layer 31) 結果:実機でテレポートが機能せず移動不能

39.

検証 2:XR の知識を付与 AI が検証できない操作は、 開発者が実機で検証する つかむ操作、ハンドによる移動、警告件数の照合など。 AI の完了報告だけでは品質を判断できない

40.

対策: 開発⼿順の定義 知識‧完了報告‧実機検証

41.

対策:開発⼿順の定義 検証 1‧2 から導いた、AI 開発のための 3 つの定義 01 02 03 XR アプリの共通スキル アプリ固有のスキル 未検証項⽬の報告 課題(検証 1):ハンド、ビネットな どの必須要件が実装されない 課題(検証 1‧2):UI の出し⽅や操 作⽅法が依頼のたびに異なる 課題(検証 2):AI が実機で検証でき ない操作を「完了」と報告 定義:XR アプリ共通の必須知識を、 AI が作業前に読める形で⽤意 定義:このアプリで決めた操作、UI、 性能予算と、その理由を記録 定義:未検証項⽬を完了報告の冒頭に 書かせ、開発者が実機で確認 3 つの定義は、Unity プロジェクトの .claude/skills/ に置く「スキル」(Markdown ファイル)として AI に渡す。 AI は作業の開始時にスキルを読み込むため、依頼のたびに同じ指⽰を書く必要がない

42.

対策:開発⼿順の定義 1. XR アプリの共通スキル(unity-xr) スキルとは 特定のフォルダに置く Markdown ファイル。AI(Claude Code) が作業時に読み込み、指⽰として従う .claude/skills/ unity-xr/ SKILL.md reference/ project-setup.md SKILL.md(本体) 前提環境、進め⽅、必須ルール、禁⽌事項、完了報告の形式 interaction-and-ui.md locomotion-and-comfort.md performance.md mixed-reality.md ux-patterns.md reference(6 ファイル) プロジェクト設定、⼊⼒と UI、移動と快適性、性能、MR、UX パ ターン。必要に応じて AI が参照 showroom-spec/ SKILL.md

43.

対策:開発⼿順の定義 例:共通スキルに記述したハンドの操作仕様 要件 着席状態でも、ハンドのみで展⽰を巡回できること 操作仕様(共通スキル unity-xr に記載) 「ハンドのレイは、移動(テレポート)とパネルのボタン 操作に使い、遠くの物をつかむのには使わない。物は近く で直接つかむ」(SKILL.md「⼊⼒」) 検証結果 ハンドによる移動が、初めて実機で機能 新たな課題:ハンドで向きを変える⼿段がない

44.

対策:開発⼿順の定義 2. アプリ固有スキル(showroom-spec)に記載する項⽬ 配置場所:.claude/skills/showroom-spec/SKILL.md(このアプリ専⽤。共通スキル unity-xr とは別) 操作 つかみ⽅、ハンドのレイの役割、拡⼤‧縮⼩ UI ⽅針 名札と詳細パネル、表⽰位置と表⽰数 設定画⾯ 移動‧回転‧ビネットの選択肢と既定値 描画効果と性能予算 72 fps、MSAA、影に代わる接地表現 決定ログ ⽇付、決定事項、理由、実機での確認結果

45.

対策:開発⼿順の定義 3. 未検証項⽬の報告:完了報告の形式を定義 定義する場所:共通スキル unity-xr の SKILL.md「完了報告のフォーマット」(すべてのアプリで共通) 1. 未検証項⽬(冒頭に記載) 実機、実際のハンド⼊⼒、フレームレートなど AI が未検証の項⽬ 2. 実装内容 構成と、仕様との差異 3. ⾃動検証の結果 Project Validation(完了直前に再取得した件数)、ビルド、 AndroidManifest 4. 実機確認項⽬ 開発者が実機で確認するチェックリスト

46.

対策:開発⼿順の定義 開発ワークフロー:各⼯程で使うスキル 依頼 AI が実装 AI が完了報告 開発者が実機 検証 仕様に記録 プロンプト unity-xr unity-xr 完了報告の showroom-spec 依頼の内容のみ showroom-spec (報告形式) 実機確認項⽬ (決定ログ) (例:⼿で回転でき るようにしたい) AI が作業開始時に両 ⽅を参照し、共通 ルールとアプリの決 定事項に従う 未検証項⽬‧実装内 容‧⾃動検証の結果 ‧実機確認項⽬ 開発者がヘッドセッ トで確認。判定でき ない⼊⼒は確認表⽰ を追加 決定事項と検証結果 を記録。他のアプリ にも有効な知識は unity-xr へ スキルの配置場所:Unity プロジェクトの .claude/skills/unity-xr/ と .claude/skills/showroom-spec/

47.

応⽤: 機能追加への適⽤ 事例:ハンドによる回転と移動の追加

48.

応⽤:機能追加 事例:回転⽅法を AI の 3 案から開発者が選定し、仕様に記録 Claude Code との対話(プロンプト)で案を⽐較‧選定し、決定事項は showroom-spec の決定ログに記録 依頼から 38 秒で提⽰ 差分を開発者が確認して承認 AI が提⽰した 3 案(XR の観点で⽐較) 仕様と決定ログの差分 ⼿⾸メニュー、向きを指定するテレポート、ジェスチャー。 VR 酔い、ハンドのみでの操作性、性能で⽐較し、開発者が選定 採⽤案と理由に加え不採⽤案(Hand Teleport Interactor)も決定ログに記録

49.

応⽤:機能追加 未検証項⽬を実機で確認し、不具合を検出‧修正 完了報告の未検証項⽬ 実際のハンド⼊⼒では未操作(シミュレーターのハンドで も未検証) 実機検証:⼿⾸メニューが表⽰されない 原因:⼿のひらの向きではなくレイの向きで判定していた 対応 原因を AI に伝えて修正し、2 回⽬の実機検証で解消 ハンドの形で開始するテレポートでも、同様の事象が発⽣

50.

応⽤:機能追加 AI が検証できない⼊⼒は、判定値を表⽰して実機で確認 ⼿を開いた状態 ほかの 3 本の指を握った状態 開始ジェスチャー:不成⽴ 開始ジェスチャー:成⽴ 中指‧薬指‧⼩指の条件が不成⽴。判定処理は正しく、ジェスチャーの説明 が不⼗分だった 曲線のレイが表⽰され、ピンチで移動。1 回の実機確認で原因を特定

51.

応⽤:機能追加 推奨:AI で XR アプリを開発する⼿順 1. スキルで基本要件を指定する unity-xr showroom-spec unity-xr 内に定義 XR 共通スキル アプリ固有スキル 完了報告の形式 ハンド、ビネット、UI の距離、性能な ど、すべての XR アプリに共通する要件 このアプリの操作、UI ⽅針、性能予算 と決定ログ 未検証項⽬を冒頭に記載させ、開発者の 確認対象を明確化 2. 報告‧検証‧反映を繰り返す AI が実装‧報告 未検証項⽬を明記 開発者が実機検証 確認表⽰も活⽤ 決定事項を記録 共通スキルへ反映 showroom-spec 汎⽤的な知識のみ このサイクルを繰り返すことで共通スキルが充実し、次のアプリ開発の品質が向上する

52.

まとめ XR 開発の現在地‧AI による XR アプリ開発

53.

まとめ 新たな XR デバイスにも、Unity の共通基盤で対応 Real Virtual Augmented Reality AR Mixed Reality MR スマホ AR スマートグラス 光学シースルー MR iOS(ARKit)‧ Android(ARCore) XREAL など (軽量‧シースルー) HoloLens Magic Leap 2 Virtual Reality VR ビデオパススルー MR Meta Quest 3 / 3S Apple Vision Pro Samsung Galaxy XR HTC VIVE(Focus Vision) VR

54.

まとめ XR の知識をスキルにして、AI と XR アプリを開発 これまで培ってきた XR の基本要件と XR 固 有のノウハウをスキルとして定義すること で、AI を使った開発でもアプリの品質を継 続して保てる 最後は必ず、開発者が実機で確認

55.

Thank you