1.8K Views
November 17, 26
スライド概要
リアルタイム3Dコンテンツを制作・運用するための世界的にリードするプラットフォームである「Unity」の日本国内における販売、サポート、コミュニティ活動、研究開発、教育支援を行っています。ゲーム開発者からアーティスト、建築家、自動車デザイナー、映画製作者など、さまざまなクリエイターがUnityを使い想像力を発揮しています。
本資料に関する注意事項 本資料は、⼀般的な情報提供⽬的で作成されたものであり、本資料に記載したいかな る内容も、契約内容を構成するものではありません。 いかなる購買決定も、本資料に基づいてされることのないようにご注意ください。 本資料に記載したいかなる機能、コード、サービス内容についても、提供をお約束す るものではありません。 本資料に記載した製品、サービス、機能の開発およびリリース時期については、Unity の判断により決定され、変更の可能性があります。
AIでXRアプリが 作れる時代に、 開発者は何を 知っておくべきか? XR の当たり前を、AI と作るときに確かめる
Speaker ⾼橋 忍 Unity Technologies Japan Senior Solutions Architect
Agenda Agenda XR 開発の現在地 AI による XR アプリ開発 まとめ
XR 開発の現在地 増えるデバイスと、共通の基盤とノウハウ
XR Apps Real Augmented Reality AR Virtual Mixed Reality MR Virtual Reality VR
XRデバイスの現在地 Real Virtual 全部に個別最適化 = 破綻 Augmented Reality AR Mixed Reality MR スマホ AR スマートグラス 光学シースルー MR iOS(ARKit)‧ Android(ARCore) XREAL など (軽量‧シースルー) HoloLens Magic Leap 2 Virtual Reality VR ビデオパススルー MR Meta Quest 3 / 3S Apple Vision Pro Samsung Galaxy XR HTC VIVE(Focus Vision) VR
XR OS / プラットフォーム MR ビデオパススルー MR ‧VR Meta Quest 3 / 3S Meta Horizon OS Apple Vision Pro Samsung Galaxy XR visionOS Android XR 全部を個別開発 = 破綻
XR 開発の現在地 Unity XR の構成 XR Plug-in Management + OpenXR デバイスごとのプロバイダーを選ぶ(Unity OpenXR: Meta、Android XR など) XR Interaction Toolkit(XRI) AR App VR App MR App XR Interaction Toolkit AR Foundation XR Origin、つかむ‧押す‧移動‧UI XR Hands XR Core Utilities XR Hands ⼿と指の関節。ハンドトラッキングの共通 API AR Foundation 平⾯、アンカー、パススルー(MR) ⼀度作れば、複数のデバイスへ。 特定の SDK に偏らない XR Plugin Management OpenXR Plugin visionOS Plugin Other Plugins
XR 開発の現在地 XR Hands 役割 ⼿と指の 26 の関節を、デバイスによらない共通の API で受け取る。XRI のハンド操作は、この上に乗っている 注意点 OpenXR で Hand Tracking Subsystem、Quest のレイ には Meta Hand Tracking Aim も。⼿のモデルは Quest と Android XR で別。ジェスチャーは実機で確かめる XRHand / XRHandJoint Hand Visualizer Hand Gesture XR Hand Capture ⼿と指の関節ごとの位置‧向きと、追 跡できているかを毎フレーム受け取 る。⼿を使う機能の出発点 ⼿のメッシュや関節を表⽰するサン プル。デバイスが⼿のメッシュを 持っていれば、それを使って表⽰す る 決まった⼿の形(グー、指差しな ど)や、⾃分で定義した形を検出す る。どの形を何の操作にするかは体 験の判断 実機で⼿の動きを録って、エディタ で再⽣できる。ジェスチャーを作る ときの素材になる
XR 開発の現在地:ハンド ハンドトラッキング グラスデバイスでは、コントローラーを持たずに ⼿で操作するのが前提になる
XR 開発の現在地:ハンド ボタンがない分は、ジェスチャーで補う モーションコントローラー ハンドトラッキング ボタンとスティックがある ボタンがない → ジェスチャー 決定‧移動‧メニューを、ボタンとスティックに割り当てられる。押した‧ 倒したは確実に伝わる ⼿の形を操作に割り当てて補う。誤認識もしやすい諸刃の剣なので、形の定 義と判定の閾値が⼤事
XR 開発の現在地:ハンド 解決例:⼿だけでテレポートする 使うもの XR Interaction Toolkit 3.5 以降の Hands Interaction Demo 操作の流れ ⼿⾸を返して指で L 字を作ると、レイが出る つまんで移動先を決める ⼿を回すと、着いたときの向きも同時に決まる
XR 開発の現在地:ジェスチャー ジェスチャーは3ステップで作る XR Hands のサンプルを使い、録る → 形を作る → 判定する の順に進める ① 録る ② 形を作る ③ 判定する Gesture Capture サンプルで、実機の⼿の形をレ コーディングする 録ったデータを取り込み、Hand Shape と Hand Pose を作る Hand Visualizer サンプルで、形が判定されるかを 確かめる
XR 開発の現在地:ジェスチャー ① 録る:実機で⼿の形をレコーディング 使うもの XR Hands の Hand Capture サンプル やること 作りたい⼿の形を実機で作り、そのまま録る ポイント 録ったデータはエディタで再⽣できる。何度もヘッドセッ トをかぶらずに確かめられる
XR 開発の現在地:ジェスチャー ② 形を作る:Hand Shape と Hand Pose Hand Shape 5本の指ごとに、曲がり‧伸びなど 5種類の状態を決める 取り込む(Hand Shape) 録ったデータをプロジェクトに取り 込み、Unity Editor 内の XR Hand Capture パネルで開く。使⽤したい ポーズを決めたら、準備しておいた Hand Shape オブジェクトに上書き する。 [画像] XR ウィンドウで Hand Shape / Pose を作る画⾯
XR 開発の現在地:ジェスチャー ② 形を作る:Hand Shape と Hand Pose Hand Pose Hand Shape にさらに、⼿の向きなどの条件 を追加したもの。 定義する Hand pose オブジェクトを作成して、 Inspector で開き、ベースとなるHand Shape を読み込む。さらに、Relative Orientation の 項⽬に条件を追加していき、細かい⼿の向き などの条件を追加する。 [画像] XR ウィンドウで Hand Shape / Pose を作る画⾯
XR 開発の現在地:ジェスチャー ③ 判定する:⼀致度に閾値を決める 確かめる Hand Visualizer サンプルで、⼿を動かしながら判定の結 果を⾒る 閾値 API で⼀致度(%)を受け取る。閾値(例:70%)を決 め、中途半端な形では反応させない 割り当て 判定は毎フレーム⾏い、成⽴したときの操作を決める
XR 開発の現在地:ジェスチャー 判定 API は⽬的に合わせて使い分ける ① コア判定 API ② ⾼レベル検出 API CheckConditions StaticHandGesture Hand Shape / Hand Pose アセットの条件を、今の⼿がすべて満たす かを判定する。最初に外れた条件で打ち切るので軽い Gestures サンプルのコンポーネント。Shape か Pose を指定するだけ で検出でき、保持時間と検出間隔で誤検出と負荷を調整 bool XRHandShape.CheckConditions( XRHandJointsUpdatedEventArgs eventArgs) // XRHandPose にも同じ形のメソッドがある // 主なイベント Gesture Performed Gesture Ended 戻り値 使い⽅ bool 全条件を満たせば true 形が成立したとき 形が崩れたとき Inspector でイベントに処理をつなぐだけ。コード不要 ③ ⼀致度を算出する API ④ 指ごとの⽣の値を取る低レベル API HandShapeCompletenessCalculator XRFingerShapeMath 各指の条件への近さを平均し、⼀致度を 0.0〜1.0 で返す(Gestures サンプル)。閾値(例:0.7)と組み合わせて判定する XRHand の拡張メソッド CalculateFingerShape で、指ごとの Full Curl‧Base Curl‧Tip Curl‧Pinch‧Spread の値を直接取り出す。ア セットを使わず、独⾃の判定ロジックを組みたいときに使う bool TryCalculateHandShapeCompletenessScore( XRHand hand, XRHandShape handShape, out float score) 戻り値 bool 計算できたら true、score に 0.0〜1.0
XR 開発の現在地:まとめ ハンド操作が XR の前提に XR Hands で⼿の形を定義し、 ジェスチャーで新しい操作を設計する
AI による XR アプリ開発 検証から導いた、AI と開発するための⼿順
AI による XR アプリ開発 ⽬的:AI と XR アプリを開発する⼿順を、検証から導く 検証 1 検証 2 対策 応⽤ ⼀⽂の依頼で作成 XR の知識を付与 開発⼿順の定義 機能追加への適⽤ 前提知識を渡さずに、AI はどこまで XR アプリを作 れるか XR の知識をスキルとして 渡すと、実機で使えるア プリになるか 知識‧完了報告‧実機検 証の⼿順を定める 定めた⼿順で、実際に機 能を追加する 検証環境:Unity 6000.3、Meta Quest 3、Claude Code∕Unity AI Assistant(2026 年 10〜11 ⽉) 採点:XR の基本要件 9 項⽬を ○∕△∕× で評価(18 点満点)
検証 1: ⼀⽂の依頼で作成 前提知識を渡さずに、AI はどこまで作れるか
検証 1:一文の依頼 検証 1:⼀⽂の依頼 ⼀⽂の依頼で VR アプリを作成 ❯ Unityで VR のショールームアプリを作ってください。 部屋の中を歩き回れて、展⽰されている商品を⼿に取ったり、 商品の説明パネルを⾒たりできるようにしてください。 Quest 3 で動かします。
B2_no-hands.mp4 検証 1:⼀⽂の依頼 事例 1:ハンドトラッキングが実装されない ⼀⽂の依頼のみ ⼿が表⽰されず、操作できない XR Hands とハンド⽤の⼊⼒設定が未導⼊。コン トローラーを置くと、すべての操作ができなくな る
検証 1:⼀⽂の依頼 事例 2:移動時のビネットが実装されない ⼀⽂の依頼のみ スムーズ移動時に視野の制限が ない 視覚上の移動と⾝体感覚のずれが⼤きく、VR 酔 いを招きやすい
検証 1:⼀⽂の依頼 同⼀の依頼による 5 回の作成結果 0/5 0/5 5/5 ハンド操作を実装 移動時のビネットを実装 作業完了と報告
検証 1:一文の依頼 XR の必須要件は、 知識として事前に AI へ渡す ハンド、ビネット、Run In Background などの実装⽅針 を、AI が作業前に参照できる形で⽤意する
検証 2: XR の知識を付与 XR の知識をスキルとして AI に渡した場合
検証 2:XR の知識を付与 検証 1 を踏まえ、XR の知識をスキルとして作成 検証 1 で実装されなかった項⽬を、AI が判断に迷わない形式(数値‧必須ルール‧禁⽌事項)で記載 数値で⽰す # Unity XR 開発スキル( SKILL.md 抜粋) 読むパネルは 1.0〜2.0 m、押すパネルは 0.4〜0.6 m。リ フレッシュレートを常に維持 ## 必須ルール ### 2. 入力 - コントローラーとハンドの両方で操作できるようにする ### 3. 移動と快適性 - スムーズ移動には必ずビネットを付ける ### 4. UI - 読むパネルは約 1.0〜2.0 m、押すパネルは約 0.4〜0.6 m ### 6. 実機でだけ壊れる設定 - Run In Background をオンにする 必須ルールとして⽰す コントローラーとハンドの両⽅に対応。スムーズ移動には ビネット。Run In Background をオン 禁⽌事項として⽰す Screen Space の UI、ビネットなしのスムーズ移動、警告 を残したままの完了報告 ## やってはいけないこと - Project Validation の警告を残したまま「完了」と報告する
検証 2:XR の知識を付与 知識の付与で基本要件は実装、実機での操作に課題が残る 実装された基本要件 実機で課題が残った操作 ハンドトラッキング テレポートによる移動 移動時のビネット 物をつかむ操作 Run In Background (メニュー表⽰中の停⽌を防⽌) ハンドによる移動 アンチエイリアス(MSAA) いずれも、AI が実機で検証できない操作 Project Validation の警告 0 件 検証 3 回の得点:17 点∕12 点∕15 点(18 点満点)。同⼀条件でも結果にばらつきがある
B2_no-hands.mp4 検証 2:XR の知識を付与 事例 1:ハンドは表⽰されるが、物をつかめない XR の知識を付与 つかむ操作が機能しない つかむ操作の設定に不整合があった。AI はコード からの起動のみで確認済みと報告し、実際の⼊⼒ では検証していない
検証 2:XR の知識を付与 事例 2:完了報告から漏れた警告が、テレポートを停⽌させていた AI の完了報告 Project Validation の警告:1 件(SSAO) Project Validation の実際の表⽰ 警告:2 件(SSAO、Interaction Layer 31) 結果:実機でテレポートが機能せず移動不能
検証 2:XR の知識を付与 AI が検証できない操作は、 開発者が実機で検証する つかむ操作、ハンドによる移動、警告件数の照合など。 AI の完了報告だけでは品質を判断できない
対策: 開発⼿順の定義 知識‧完了報告‧実機検証
対策:開発⼿順の定義 検証 1‧2 から導いた、AI 開発のための 3 つの定義 01 02 03 XR アプリの共通スキル アプリ固有のスキル 未検証項⽬の報告 課題(検証 1):ハンド、ビネットな どの必須要件が実装されない 課題(検証 1‧2):UI の出し⽅や操 作⽅法が依頼のたびに異なる 課題(検証 2):AI が実機で検証でき ない操作を「完了」と報告 定義:XR アプリ共通の必須知識を、 AI が作業前に読める形で⽤意 定義:このアプリで決めた操作、UI、 性能予算と、その理由を記録 定義:未検証項⽬を完了報告の冒頭に 書かせ、開発者が実機で確認 3 つの定義は、Unity プロジェクトの .claude/skills/ に置く「スキル」(Markdown ファイル)として AI に渡す。 AI は作業の開始時にスキルを読み込むため、依頼のたびに同じ指⽰を書く必要がない
対策:開発⼿順の定義 1. XR アプリの共通スキル(unity-xr) スキルとは 特定のフォルダに置く Markdown ファイル。AI(Claude Code) が作業時に読み込み、指⽰として従う .claude/skills/ unity-xr/ SKILL.md reference/ project-setup.md SKILL.md(本体) 前提環境、進め⽅、必須ルール、禁⽌事項、完了報告の形式 interaction-and-ui.md locomotion-and-comfort.md performance.md mixed-reality.md ux-patterns.md reference(6 ファイル) プロジェクト設定、⼊⼒と UI、移動と快適性、性能、MR、UX パ ターン。必要に応じて AI が参照 showroom-spec/ SKILL.md
対策:開発⼿順の定義 例:共通スキルに記述したハンドの操作仕様 要件 着席状態でも、ハンドのみで展⽰を巡回できること 操作仕様(共通スキル unity-xr に記載) 「ハンドのレイは、移動(テレポート)とパネルのボタン 操作に使い、遠くの物をつかむのには使わない。物は近く で直接つかむ」(SKILL.md「⼊⼒」) 検証結果 ハンドによる移動が、初めて実機で機能 新たな課題:ハンドで向きを変える⼿段がない
対策:開発⼿順の定義 2. アプリ固有スキル(showroom-spec)に記載する項⽬ 配置場所:.claude/skills/showroom-spec/SKILL.md(このアプリ専⽤。共通スキル unity-xr とは別) 操作 つかみ⽅、ハンドのレイの役割、拡⼤‧縮⼩ UI ⽅針 名札と詳細パネル、表⽰位置と表⽰数 設定画⾯ 移動‧回転‧ビネットの選択肢と既定値 描画効果と性能予算 72 fps、MSAA、影に代わる接地表現 決定ログ ⽇付、決定事項、理由、実機での確認結果
対策:開発⼿順の定義 3. 未検証項⽬の報告:完了報告の形式を定義 定義する場所:共通スキル unity-xr の SKILL.md「完了報告のフォーマット」(すべてのアプリで共通) 1. 未検証項⽬(冒頭に記載) 実機、実際のハンド⼊⼒、フレームレートなど AI が未検証の項⽬ 2. 実装内容 構成と、仕様との差異 3. ⾃動検証の結果 Project Validation(完了直前に再取得した件数)、ビルド、 AndroidManifest 4. 実機確認項⽬ 開発者が実機で確認するチェックリスト
対策:開発⼿順の定義 開発ワークフロー:各⼯程で使うスキル 依頼 AI が実装 AI が完了報告 開発者が実機 検証 仕様に記録 プロンプト unity-xr unity-xr 完了報告の showroom-spec 依頼の内容のみ showroom-spec (報告形式) 実機確認項⽬ (決定ログ) (例:⼿で回転でき るようにしたい) AI が作業開始時に両 ⽅を参照し、共通 ルールとアプリの決 定事項に従う 未検証項⽬‧実装内 容‧⾃動検証の結果 ‧実機確認項⽬ 開発者がヘッドセッ トで確認。判定でき ない⼊⼒は確認表⽰ を追加 決定事項と検証結果 を記録。他のアプリ にも有効な知識は unity-xr へ スキルの配置場所:Unity プロジェクトの .claude/skills/unity-xr/ と .claude/skills/showroom-spec/
応⽤: 機能追加への適⽤ 事例:ハンドによる回転と移動の追加
応⽤:機能追加 事例:回転⽅法を AI の 3 案から開発者が選定し、仕様に記録 Claude Code との対話(プロンプト)で案を⽐較‧選定し、決定事項は showroom-spec の決定ログに記録 依頼から 38 秒で提⽰ 差分を開発者が確認して承認 AI が提⽰した 3 案(XR の観点で⽐較) 仕様と決定ログの差分 ⼿⾸メニュー、向きを指定するテレポート、ジェスチャー。 VR 酔い、ハンドのみでの操作性、性能で⽐較し、開発者が選定 採⽤案と理由に加え不採⽤案(Hand Teleport Interactor)も決定ログに記録
応⽤:機能追加 未検証項⽬を実機で確認し、不具合を検出‧修正 完了報告の未検証項⽬ 実際のハンド⼊⼒では未操作(シミュレーターのハンドで も未検証) 実機検証:⼿⾸メニューが表⽰されない 原因:⼿のひらの向きではなくレイの向きで判定していた 対応 原因を AI に伝えて修正し、2 回⽬の実機検証で解消 ハンドの形で開始するテレポートでも、同様の事象が発⽣
応⽤:機能追加 AI が検証できない⼊⼒は、判定値を表⽰して実機で確認 ⼿を開いた状態 ほかの 3 本の指を握った状態 開始ジェスチャー:不成⽴ 開始ジェスチャー:成⽴ 中指‧薬指‧⼩指の条件が不成⽴。判定処理は正しく、ジェスチャーの説明 が不⼗分だった 曲線のレイが表⽰され、ピンチで移動。1 回の実機確認で原因を特定
応⽤:機能追加 推奨:AI で XR アプリを開発する⼿順 1. スキルで基本要件を指定する unity-xr showroom-spec unity-xr 内に定義 XR 共通スキル アプリ固有スキル 完了報告の形式 ハンド、ビネット、UI の距離、性能な ど、すべての XR アプリに共通する要件 このアプリの操作、UI ⽅針、性能予算 と決定ログ 未検証項⽬を冒頭に記載させ、開発者の 確認対象を明確化 2. 報告‧検証‧反映を繰り返す AI が実装‧報告 未検証項⽬を明記 開発者が実機検証 確認表⽰も活⽤ 決定事項を記録 共通スキルへ反映 showroom-spec 汎⽤的な知識のみ このサイクルを繰り返すことで共通スキルが充実し、次のアプリ開発の品質が向上する
まとめ XR 開発の現在地‧AI による XR アプリ開発
まとめ 新たな XR デバイスにも、Unity の共通基盤で対応 Real Virtual Augmented Reality AR Mixed Reality MR スマホ AR スマートグラス 光学シースルー MR iOS(ARKit)‧ Android(ARCore) XREAL など (軽量‧シースルー) HoloLens Magic Leap 2 Virtual Reality VR ビデオパススルー MR Meta Quest 3 / 3S Apple Vision Pro Samsung Galaxy XR HTC VIVE(Focus Vision) VR
まとめ XR の知識をスキルにして、AI と XR アプリを開発 これまで培ってきた XR の基本要件と XR 固 有のノウハウをスキルとして定義すること で、AI を使った開発でもアプリの品質を継 続して保てる 最後は必ず、開発者が実機で確認
Thank you