1.1K Views
November 17, 26
スライド概要
リアルタイム3Dコンテンツを制作・運用するための世界的にリードするプラットフォームである「Unity」の日本国内における販売、サポート、コミュニティ活動、研究開発、教育支援を行っています。ゲーム開発者からアーティスト、建築家、自動車デザイナー、映画製作者など、さまざまなクリエイターがUnityを使い想像力を発揮しています。
はじめてのUnity Robotics シミュレーションで始める ロボット開発
2 本資料に関する注意事項 本資料は、⼀般的な情報提供⽬的で作成されたものであり、本資料に記載したいかな る内容も、契約内容を構成するものではありません。 いかなる購買決定も、本資料に基づいてされることのないようにご注意ください。 本資料に記載したいかなる機能、コード、サービス内容についても、提供をお約束す るものではありません。 本資料に記載した製品、サービス、機能の開発およびリリース時期については、Unity の判断により決定され、変更の可能性があります。
3 冷 明川 川崎 Solution Engineers, Unity Technologies Japan 貴章
4 産業⽤ロボット サービスロボット ⼯場‧倉庫‧プラント 店舗‧家庭‧病院‧街 ドローン ⾶⾏ 社会を支える ロボット 巡回 運搬 作業 点検‧測量‧配送‧空撮 4⾜歩⾏ 2⾜歩⾏ロボット 設備の点検 ⼯場の作業〜案内 AGV AMR 配膳‧掃除ロボ マーカー誘導 ⾃律⾛⾏ お店や家の中を移動 産業⽤アーム 協働ロボット ⼿術⽀援ロボ 溶接‧組⽴‧運ぶ ⼈の隣で作業 医療の現場
フィジカルAIの市場規模 85% 3% 世界経済のうち物理的な 空間に基づく割合。 デジタル経済は15%に とどまる1 フィジカルAIを 業務の中核に完全に 組み込める企業2 1 International Data Center Authority Global Digital Economy Report (2025) 2 Deloitte State of AI in the Enterprise Report 2026
6 作る(計画)↓ ① 要求 ロボットは 機構、電気、 ソフトを そろえて開発 機能、性能、安全、耐久 ② 設計 機構‧電気‧ソフト ③ 部品を作る 試作‧プログラミング 確かめる(検証)↑ ⑥ 現場での確認 求めた仕事ができるか 実機 ⑤ 全体の確認 組み合わせて動くか SIL‧HIL ④ 部品の確認 部品ごとに動くか MIL‧SIL MIL : 制御モデルを使った設計の検証 SIL : ソフトウェアの単体〜結合テスト HIL : 実際の制御基板を使ったテスト 上に⾏くほど実機に近く、やり直しの時間とお⾦が⼤きくなる
7 導⼊と運⽤の 検証 状況 実機 シミュレーション 導⼊‧ ⽴ち上げ 現場で動かすまで 問題が分からず、 ⼿戻りが⼤きい フロントローディング 配置もプログラムも 現場に⼊る前に確認 運⽤中 稼働中の現場では 試せない 試せない部分を補う 変更を仮想で確かめ、 通ったものを実機へ 同じ 制御プログラムを、シミュレーション → 実機で動かす
Unity + Simulation Proで実現 Unity コンテンツ 地形、建物 カメラ、照明 エンジンの システム Simulation Pro 外部システム ロボット制御(ROS) Unity が提供する機能 開発者が作るコンテンツ
デジタルツインのデータでROS 2 が地図を作成 Unityシーン Rviz2(ROS 2 表⽰ツール)画⾯ シーン内を移動 ROS 2で地図 2D LiDAR を載せた⾃律⾛⾏搬送ロボットがデジタルツイン倉庫の 中を移動 Simulation Proから送信するスキャンデータをslam_toolbox が 合わせ込み地図を構築
10 初回⾛⾏で環境の地図を作成 画面の並び:左に Unity の Game ビュー、右に RViz2
Unity が⾒て動き、ROS 2 が判断する Windows アプリ WSL2:Ubuntu 22.04 Unity + Simulation Pro ROS 2 Humble 2 1 測る:Raytraced LiDAR 送る:/scan 距離のデータ 3 地図を作る:slam_toolbox 周りの距離を 1 秒に 7 回測る 地図と⾃分の位置を求める 6 動く:CmdVel Driver 4 判断する:Nav2 受け取った速度でロボットが⾛る 5 返す:/cmd_vel 速度の指令 経路を考え、速度を決める Windows 11 ノート PC(1 台) Unity が提供する機能 開発者が⽤意するもの
12 倉庫の巡回経路を作成し、AMRが⾛⾏ 画面の並び:左に Unity の Game ビュー、右に RViz2 動画は実際よりも速い速度で再生
作成した経路でデジタルツイン内を巡回 Unityシーン Unityシーン Rviz2(ROS 2 表⽰ツール)画⾯ デジタルツインなら⾒えるを実現 巡回撮影する写真の構図を評価 実際の⾃律⾛⾏プログラムを確認 AMRが遮蔽物の下に⼊った場合でもUnityの デジタルツインなら状況を表⽰し、トラブ ルも把握できる 搭載カメラをCamera Sensorで⽤意すれば 巡回時の撮影画像もデジタルツイン内で事 前評価できる RViz2で⾏き先をクリックすると、 Nav2(ROS 2 の⾃律移動ソフト) が 経路を決めて移動指⽰を出す
シミュレーションで確認できた失敗 床置きのパレット ロボットの幅設定 LiDAR の⾯より低く、地図に写らない。 起動⽅法の誤りで0.3mに設定したロボッ ト半径がエラーなしで反映されず、 0.1m で経路を作っていた。 Nav2 は通れると判断し、ロボットはパ レットに当たって動けなくなった テーブルの脚の間をくぐる狭い経路を選 び、動けなくなった シミュレーションなら、実機を壊さずに条件を変えて何度でも確かめられる
15 フィジカルAIを定着させるには作りこむ必要がある 設備停止や機材破損による損失を シミュレーションで回避し、 精度を上げる必要がある。
Simulation Pro → URDFインポーター → カスタム可能なセンサーモデル → ROS 2連携 → Linux Headless Simulation ビルドターゲット
17 全体アーキテクチャ(Unity と ROS 2 の役割分担) Unity(Simulation Pro) ROS 2 環境 制御指令 Sensors:バーチャル環境で動くセンサー URDF Importer ロボット定義の 取込 /cmd_vel 等 物理演算‧シーン上で計測した値をメッセージ化 カメラ LiDAR RGB‧深度 2D‧3D IMU 姿勢‧ 加速度 ROS 2 ノード 認識‧SLAM‧ナビゲーション‧制御 (検証対象のソフトウェア) Joint 関節の状態 トピック(例) カメラ /image_raw‧/camera_info Visualizations Capture RViz⾵の可視化 画像の取り出し LiDAR Foundation:ROS 互換メッセージ‧Pub-Sub‧座標系変換‧TF‧クロック管理 /scan‧/points IMU /imu Joint /joint_states 共通 /tf‧/clock センサー データ ROS TCP Connector:ROS 2 とのブリッジ ROS TCP Endpoint
実写の空間を シミュレーションに使ってみる
19 現場のモデリングを、撮影と⾃動処理に置き換える 従来の モデリング 採⼨‧図⾯ モデリング 質感‧照明 現場を測る 形を⼿で作る ⾒た⽬を合わせる 3DGSで 再構成 撮影 3DGSの学習 インポート 写真‧動画を撮る 写真から⾃動⽣成 .ply を読み込む ※ 今回の3D Gaussian Splatting(3DGS)インポート機能はUnity公式ではなく、デモ⽤の試作です
20 ドローンが地図を作りながら⾃律⾶⾏ 3DGS の部屋 3D地図作成 3D経路 約 318 万 splat の実写空間 LiDAR と Depth のボクセル ⾼さも含めて計画 3DGSデータのソース:Kerbl et al. (2023), 3D Gaussian Splatting for Real-Time Radiance Field Rendering; https://huggingface.co/datasets/Voxel51/gaussian_splatting, https://huggingface.co/datasets/pjramg/gaussian_splatting/
21
22 LiDARとDepthカメラ 3DGS(.ply) ⾒た⽬は RGB カメラに描画 深度バッファに書き込む LiDAR‧Depth で計測 splatかコリジョンを、センサー⽤ カメラへ Raster LiDAR‧Depthカメラ (Simulation Pro) ベイクしたMesh Collider ● ● 物理演算‧Physics LiDAR と同じ形状が返る 精度はCollider次第 Splat から直接 ● ● RGB の⾒た⽬と⼀致する floater や半透明の splat でも点が返る
23 3D地図を作り、空間内に経路を作成 Unity(Simulation Pro) ROS2(Docker) センサーとドローン マッピングや経路計画 センサー 3D LiDAR 位置合わせ‧2D / 3D 地図 Depth 前⽅ 4 m の障害物 RTAB-Map ⾃⼰位置と地図(SLAM) ROS-TCP Endpoint 3D 地図 0.1 m のボクセル RGB ループ閉じ込みの候補探し /cmd_vel ドローン 4 ロータの推⼒で⾶ぶ nav3d(カスタムノード) 3D A* で計画
24 → 動く物体もその場で検出したい ⎯ splatの深度が先に書き込まれ るのでOK → ⼀定時間おきに再計画 ⎯ → 常に最新状況に適応する 3DGSは撮影した瞬間の静⽌した空間 ⎯ メッシュと組み合わせ、リアル なシナリオを作る
25 シミュレーションから実機へ デモの実装 プランナー nav3d(カスタムノード) 差し替え先 ⾃社のプランナー 3D A*の参考実装 Aerostack2、EGO-Planner、MoveIt な ど ⾶⾏制御 カスタムC#スクリプト PX4 SITL 速度 → ロータの推⼒ PX4に似せた多段制御 MAVLinkで接続 /goal_pose → /cmd_vel 物理(重⼒‧4 ロータ)、センサー、TF、RTAB-Map、トピックはそのまま
このデモの制限 → splatの精度 ⎯ 空中の半透明な splat(floater)にも 反応する ⎯ 家具の下などの隙間判定に弱い → 描画の負荷 ⎯ splat 数に⽐例して重い (デモは約 318 万) → Depth の距離精度 ⎯ このデモではメッシュと⽐べると 3〜7% 短く出る ※ Simulation Proと組み合わせて⼿早くシミュレーション環境を⽤意するのに向いている
27 早く 実機に近く そのまま 現場をすぐ再現 センサーも再現 実機へつなぐ 現場を撮影するだけ で、写真から 3DGS で再構成。採⼨やモ デリングの⼿間を減 らす LiDAR‧Depth‧RGB にノイズも加え、 SLAM と 3D 経路計画 を実機に近い条件で 検証 ROS 2 のトピックは 共通。⾃社のプラン ナーや PX4 に差し替 えて、同じソフトを実 機へ 現場での⼿戻りと実機トラブルを減らし、開発から導⼊までを早める
28 Unity のソリューションでつなぐロボティックス 持ち込む 試す 学習する 評価 USD Toolkit Simulation Pro ML-Agents Sentis 強化学習‧模倣 学習でポリシー を学習 学習済みの ONNX モデル (認識‧ポリ シー)を Unity の中で推論し、 閉ループで評価 OpenUSD のロ ボットと環境を 読み込み、Isaac Sim とライブ同 期可能 センサー、ROS 2 連携、シミュ レーション 1つのプロジェク トから複数プ ラットフォーム へビルド
29 USD Toolkit Unityを、Isaac SimなどOpenUSDベース のシミュレーションパイプラインとつな ぐ、C#の統合パッケージ: → OpenUSD 26.05をネイティブで読 み書き → Editor/ランタイムでのインポー ト、エクスポートに対応 → Isaac Simのロボットを物理設定含 めて再現 → Isaac Simとシーンを双⽅向にライ ブ同期
30 ML-Agents Unityで作った仮想環境の中で、ロボット の動作をAIに学習させるオープンソース のツールキット: → 強化学習‧模倣学習に対応 (PyTorchベース) → 複数環境の並列実⾏で学習を⾼速 化 → Python APIで既存の学習環境と連 携 → 学習済みモデルをUnity Sentisで → そのまま推論実⾏
31 Sentis 学習済みAIモデルを、Unityアプリの中で そのまま推論実⾏できるランタイム推論 エンジン: → ONNXモデルをデバイス上で推論 → カメラ映像からYOLOなどで物体検 出 → 推論結果でデジタルツインが実機を 制御 → 合成データでの学習から推論まで Unityで完結
Unity Robotics Solutions 制御⽤アプリ開発 1つのUnityプロジェクトから、ロボットの利⽤者 が使いやすい端末へ制御アプリを展開: → Windows‧macOS‧Linux → iOS‧Android → 組み込み(Embedded Linux / QNXなど) → Webブラウザ(インストール不要) → XRデバイス(Meta Quest / Apple Vision Pro など) 32
Unity Academyコース https://academy.unity.com/courses/introducti on-to-unity-robotics-and-simulation ありがとう ございました マニュアル https://docs.unity3d.com/Packages/com.unity [email protected]/manual/index.html ⽇本語ブログ https://unity.com/ja/blog/unity-simulation-pr o-early-access