トヨタのxR活用事例ご紹介 ~ ホロラボとの開発秘話を中心に (ホロラボカンファレンス 2022 トヨタ自動車株式会社 栢野様 発表スライド)

スライド概要

profile-image

ホロラボ

@HoloLab

作者について:

ホロラボです Unityを使用したHoloLensのアプリ開発を中心にしています。 最近では建設業でのBIMデータ、製造業でのCAD データ、空間の3Dスキャン(点群データやメッシュデータ)も扱っています。 物理世界とデジタル世界をどのように連携するか。ということを日々考えています。

スライド一覧
シェア
埋め込む»CMSなどでJSが使えない場合

公開日

2022-05-17 09:30:00

各ページのテキスト

1. HoloLab Conference 2022 トヨタのxR活用事例ご紹介 ~ ホロラボとの開発秘話を中心に 株式会社ホロラボ 上山 晃弘(アキヒロ) トヨタ自動車株式会社 栢野 浩一

2. 1 /55 栢野 浩一(かやの こういち) 仕事 デジタルエンジニアリング (≒DX/デジタルツイン)20年以上 趣味 コンピュータ系 最近は xR ハイキング(登りじゃないやつ)、旅行 出身 三重生まれの名古屋育ち © 2022 Toyota Motor Corporation. All rights reserved.

3. 2 /55 1996年~ 生産技術へデジタルエンジニアリング導入 (創成期=経験が今も役立つ) 干渉 車両1台分のデータ 作業姿勢 やりにくさ=品質低下 デジタル試作:新業務が誕生, 20年以上 © 2022 Toyota Motor Corporation. All rights reserved.

4. 3 /55 レイアウト検討 デザイン レビュー デザイン 企画 カタログ CM 販売 サービスマニュアル パーツカタログ 用品デザインレビュー エンジン搭載検討 設計 フルビーグルデータ@PDM サービス 用品 構成部品表 CAE 評価 計測 生技・工場 品管 作業要領書 作業手順書 荷姿検討 全工程でデータを基準とした業務遂行:データ主体の新業務 © 2022 Toyota Motor Corporation. All rights reserved.

5. 4 /55 2005年~市販CG「車両データ」 海外拠点へ提供(リーダ) カタログ/CM/映画 カーコンフィギュレータ VRイベント 車両CGモデルを提供 ⇒デジタル販促:新業務 15年以上、標準プロセス 革新的な取組 © 2022 Toyota Motor Corporation. All rights reserved.

6. 5 /55 DX:デジタルトランスフォーメーション 新しいサービスや枠組みを提供すること データとITを主体とした 新しい業務、付加価値を実現してきた © 2022 Toyota Motor Corporation. All rights reserved.

7. 6 /55 ・2000初~ サービス性検討、手書きイラストの元ネタ ・2007年~ 修理書等のイラストに3Dデータ活用開始 ・2016年~ xR活用試行に着手(AR, VR, HoloLens,,,) © 2022 Toyota Motor Corporation. All rights reserved.

8. 7 /55 2016/17 2018 2019 2020 2021 現在も改良中) たくさん試行! 2018 Satya CEO 2019 平野社長 2021 Alex Kipman © 2022 Toyota Motor Corporation. All rights reserved.

9. 8 /55 GR Garageはクルマファンが集い、語らい、一緒になってクルマを楽しむ、 「町いちばんの楽しいクルマ屋さん」を目指しています。 https://toyota.jp/gr/garage/ © 2022 Toyota Motor Corporation. All rights reserved.

10. 9 /55 ①配線図 ③コミュニケーション トヨタ製 Dynamics 365 Remote Assist ②新型車解説 ④トレーニング、ガイド マイクロソフト社 製品 後進リーダ達が要件化し展開 Dynamics 365 Guides © 2022 Toyota Motor Corporation. All rights reserved.

11. 10 /55 ・解り辛かった部品やコネクタ配置を直感的に理解 ・配線に関わる情報を一括表示 © 2022 Toyota Motor Corporation. All rights reserved.

12. © 2022 Toyota Motor Corporation. All rights reserved.

13. 12 /55 ・機能解説を車両上に表示し、楽しくわかりやすく学習 4WD 空力 ボデー エンジン © 2022 Toyota Motor Corporation. All rights reserved.

14. 空力 © 2022 Toyota Motor Corporation. All rights reserved.

15. 14 /55 ①エンジニアの魅力向上 エンジニアリーダー、新入社員へ将来像紹介 整備学校生対象の体験イベント ②新たなお客様体験の提供 販売店独自にSNS・YouTube上での紹介、集客誘致 ③各種メディアでの紹介 日刊自動車新聞、日刊工業新聞、日経新聞Web 他 © 2022 Toyota Motor Corporation. All rights reserved.

16. 15 /55 特徴:AI形状認識により、ホログラム表示位置を自動化 車両塗装を傷つけない 作業効率 マーカーレス実現は必須 手順 学習 ファイル 1~5MB ①モデルファイルを 用意する 2MB ②学習ファイルへ変換 (Azureサービス) ③Unity 開発アプリ ④HoloLens 2へ 先行段階から開発チームに参加 © 2022 Toyota Motor Corporation. All rights reserved.

17. © 2022 Toyota Motor Corporation. All rights reserved.

18. 17 /55 特徴:ディーラ配布HoloLensのユーザ、アプリ配信など クラウドベースで機器管理ができる(旧名 Intune) 注:HoloLensでは 機能制限あり(現状) 各種設定 アプリ配信 ユーザ設定 ディーラ展開になくてはならないツール 初期設定工数 大幅に低減 © 2022 Toyota Motor Corporation. All rights reserved.

19. 18 /55 特徴:回路図のSVGフォーマットをHoloLens上で表示 裏話 ・SVG Viewer開発者 と直接コンタクト ・初めて「3D化」した時 50mくらいの巻物 文字が見えない Unityで楽しく開発! © 2022 Toyota Motor Corporation. All rights reserved.

20. 19 /55 ①Microsoft Azure Remote Rendering (ARR) HoloLens単体では、 描画性能に限界! クラウドで描画、現場で投影 レンダリングデータ レンダリングサーバー (専用Azureサービス) センサーデータ HoloLens 2 (ARR SDKを使用した UWP Unityアプリケーション) 開発 © 2022 Toyota Motor Corporation. All rights reserved.

21. 20 /55 • ARRを遠隔講習で使 えるようにできる のでは(栢野さん) • ARRとHolo Communicationを 組み合わせ,遠隔 地へのARRモデルと 講師を転送 © 2022 Toyota Motor Corporation. All rights reserved.

22. 21 /55 ネットワーク帯域を圧迫 動作が不 安定 日本リージョンがARRに対応 通信負荷は高い もう少しカイゼンしてみよう! © 2022 Toyota Motor Corporation. All rights reserved.

23. 22 /55 • ARR + 3Dアバター版 • 通信量低減のため 3Dアバターの利用 を検討(栢野さ ん) • Holo Communication → Azure Kinect Body Trackingを利用。受 信データ量を削減! © 2022 Toyota Motor Corporation. All rights reserved.

24. 23 /55 課題 • 通信量の問題はある程度解決できたが、やっぱりリアル情報も欲しい(栢野さん) • フォトグラメトリデータを表示してみる • Webカメラからの映像を送信して表示してみる リアル情報も入れてみよう! © 2022 Toyota Motor Corporation. All rights reserved.

25. 24 /55 • ARR + HoloCommunication + 3Dアバター版 • 通信量の問題を除けばARRとHolo Communicationと3Dアバターを組み合わせて もいいのでは?(栢野さん) → 通信量とパフォーマンス調整。 全部を 一体化 できた!! © 2022 Toyota Motor Corporation. All rights reserved.

26. ARR + アバター先生 + Holographic Capture (Azure Kinect) w/Real HoloPortation © 2022 Toyota Motor Corporation. All rights reserved.

27. 26 /55 せっかくだから、アレックスさんに報告しよう! Concept: HoloPortation アバター & リアル & ホログラム メタバース上の初事例をメタバース上で初報告!? © 2022 Toyota Motor Corporation. All rights reserved.

28. 27 /55 • リアルタイム以外でも講習を受けれるようにしたい (栢野さん) • ARRの操作と3Dアバターの動作,音声を記録,再生可能にした。 いつでもどこでも空間記録の再生が可能に! © 2022 Toyota Motor Corporation. All rights reserved.

29. 28 /55 デジタル工具(Bluetooth Device)との連携 例)トルク値の自動読み取り、記録化 ・工具とタイヤを 形状認識で把握 ・デジタル工具から トルク値を通信し 記録簿に自動記録 © 2022 Toyota Motor Corporation. All rights reserved.

30. 29 /55 Power Appsで使えるように工夫 (世界初!?) HoloLens 2 デジタル工具 仕様上 不可 Bluetooth 今回 Bluetooth Azure Functions Azure Signal R Azure 利用 Power Apps (HoloLens内のブラウザ) © 2022 Toyota Motor Corporation. All rights reserved.

31. © 2022 Toyota Motor Corporation. All rights reserved.

32. 31 /55 © 2022 Toyota Motor Corporation. All rights reserved.

33. 32 /55 PowerAppsとの連携(Google Spread Sheet版) • PowerAppsにBluetooth接続のトルクレン チからデータを取得する機能は無い • Google スプレッドシートにHoloLens からトルクレンチのデータをアップ ロード • PowerAppsでストレージを読み込ん で表示 • データ送信だけなのでUWPアプリに変更 PC用としてPowerApps組み込み版UWPア プリを作成 © 2022 Toyota Motor Corporation. All rights reserved.

34. 33 /55 • 課題 • トルクレンチデータをGoogle スプレッドシートに保存 しているので,PowerAppsでの表示には時間がかかる • 直接PowerAppsとやり取りができない • 構成がシンプルでない Azure経由とかでできそうじゃない?(栢野) © 2022 Toyota Motor Corporation. All rights reserved.

35. 34 /55 • PowerApps連携(Azure SignalR w/PC) • PowerAppsに即時データ を反映させるには、Azure SignalR利用で可能 • ただしAzure SignalR とPowerAppsの連携方 法はほとんど未公開 • なんとかやってみた • 連携アプリはUWPのため, HoloLens上でも動作 © 2022 Toyota Motor Corporation. All rights reserved.

36. 35 /55 • PowerApps連携 (Azure SignalR w/HL2) • HoloLensとトルクレンチ を接続した状態で HoloLens内のPowerApps が見ることができれば機 材がコンパクトにできる のでは (栢野さん) • トルクレンチとの接続ア プリをバックグラウンド 動作に対応させることで 実現 © 2022 Toyota Motor Corporation. All rights reserved.

37. 36 /55 HoloLensの操作を初めての方でも簡単に! ・アバターや手モデルで 手順や位置を説明 ・スタッフやマニュアルが なくても操作可能 ・合成音声は まだ 改善の余地あり 鳴き声:CV深田愛衣 (株) ぷろだくしょんバオバブ所属 © 2022 Toyota Motor Corporation. All rights reserved.

38. 37 /55 内容を喋ったり3Dモデルを切り替えできると良さそう! © 2022 Toyota Motor Corporation. All rights reserved.

39. 38 /55 © 2022 Toyota Motor Corporation. All rights reserved.

40. 39 /55 ヘルプ機能設定をUnity Editor上に実装 • 機能追加時にコードを記 述する必要は無し (誰でもできる) • 音声合成エンジン(Azure 等)や3Dモデルは複数種 類を切り替え可能 • EditorのUIの整理と設定 自動化で、必要最低限の 変更だけで設定完了! © 2022 Toyota Motor Corporation. All rights reserved.

41. 40 /55 私の想い)先進安全装置や自動運転が発展 ⇒ 人に見えないセンサーや車両の認識情報を、分かり易く可視化し 製品開発・メンテナンス・走行時に役立てることができないか? 参考事例)VARJO x VOLVO © 2022 Toyota Motor Corporation. All rights reserved.

42. 41 /55 スペース確保 不十分 走行振動で 誤作動 移動体の中では使えない (OS,センサー類未対応) © 2022 Toyota Motor Corporation. All rights reserved.

43. 42 /55 ※最新の情報は後述 (助手席です!) © 2022 Toyota Motor Corporation. All rights reserved.

44. 43 /55 © 2022 Toyota Motor Corporation. All rights reserved.

45. 44 /55 Tracking ・MR表示はできた! ・表示位置が安定しない どうも赤外線が悪影響 トラッキングの安定化が必要 © 2022 Toyota Motor Corporation. All rights reserved.

46. 45 /55 HMD 内蔵 IMU 車両固定 IMU • LPVR-Duo(LP-Research社) 光学式 トラッキング HMD 内蔵 IMU • 安定したトラッキングが 可能に! 光学式 トラッキング 車載固定 IMU Sensor Fusion © 2022 Toyota Motor Corporation. All rights reserved.

47. © 2022 Toyota Motor Corporation. All rights reserved.

48. 47 /55 © 2022 Toyota Motor Corporation. All rights reserved.

49. Varjo XR-3 © 2022 Toyota Motor Corporation. All rights reserved.

50. 49 /55 JVC HMD-VS1W ・高画質、広視野角 ・ハーフミラーの採用に より実際の操作機器 を肉眼で確認可能 ⇒XRドライブに 向いてそう https://www.jvc.com/jp/pro/hmd/lineup/hmd-vs1w/ まずはやってみた © 2022 Toyota Motor Corporation. All rights reserved.

51. © 2022 Toyota Motor Corporation. All rights reserved.

52. 51 /55 熱対策を怠ったため、PCが故障。。。 NVIDIA RTX A5000 • PCを小型化 VELUGA-D 1000L ご紹介したXRドライブのシステム導入にご関心あれば、エルザジャパン様まで! © 2022 Toyota Motor Corporation. All rights reserved.

53. 52 /55 Windows Holographic, version 21H2 まずはやってみた © 2022 Toyota Motor Corporation. All rights reserved. https://docs.microsoft.com/en-us/hololens/hololens2-moving-platform

54. 53 /55 あこがれた映画、SF ずっとやりたかった夢 「デジタルを現場で」 開発者の皆様 ありがとうございます! © 2022 Toyota Motor Corporation. All rights reserved.

55. 54 /55 ・DX推進のヒントは現場にあり 課題を一番しっているのは現場 目標をしっかり ・若い世代にまかせてみる デジタルネイティブで、センスがいい ・気軽にまずはやってみる、だめならすぐやめる 従来よりはるかに、安い、早い、うまい技術が豊富 xRは働き方改革に確実に役立つ © 2022 Toyota Motor Corporation. All rights reserved.

56. 55 /55 xR・DXで もっといいクルマづくり&サービス に努めてまいります 誰かの幸せのために ご清聴ありがとうございました © 2022 Toyota Motor Corporation. All rights reserved.