Mixed Reality を用いた製造業向け遠隔作業支援システムの開発

Unity 産業DXカンファレンス 2023 Mixed Reality を用いた製造業向け 遠隔作業支援システムの開発 (株)ニコン 映像ソリューション推進室 Principal Member of Technical Sta ff 高階知巳 博士(工学)

講演者 高階 知巳 (たかしな ともみ) 博士(工学) (株)ニコン / Principal Member of Technical Staff 映像ソリューション推進室において、Mixed Reality を用いた 製造業向けの遠隔作業支援システム開発のプロジェクトマネー ジャを務める。 2018年から、産業・アカデミア向けのVRアプリケーションの 開発に取り組み、バーチャルな実験室からリアルな顕微鏡を操 作できるVR顕微鏡の開発事例などを発表。 情報科学をバックグラウンドとし、著書「プログラミングR」 (オーム社)がある他、Rの日本人初のアドオンパッケージ rimage の作者でもある。 fi Nikon Con dential

目次 1. Unityによる最初のプロジェクト: VR顕微鏡 2. (株)ニコンのビジネス分野 3. 高額装置のフィールドサービスと遠隔支援の必要性 4. 既存遠隔支援ソリューション検討で見つかった課題と対策 5. 開発したシステム 1. ジェスチャー共有 2. 支援者による画質コントロール 3. 外部カメラ連携 6. Unityで業務アプリケーションを開発する上での課題と対応 7. まとめ Confidential 3

Unityによる最初のプロジェクト: VR顕微鏡 VRを活用し 顕微鏡の共有やコラボレーション 操作方法のアシスト 3D再構成像観察 を実現 バーチャル実験室 リアルな顕微鏡と連動 顕微鏡による3D再構成像を3Dで観察 4

VRの国際会議 VRST2018 にて発表 Tomomi Takashina and Yuji Kokumai. 2018. Virtual reality environment to support activity in the real world: a case of working environment using microscope. In Proceedings of the 24th ACM Symposium on Virtual Reality Software and Technology (VRST '18) 「VR空間で顕微鏡操作 視野360度 ニコンが観察システム」 日刊工業新聞 2018年12月20日 5

(株)ニコンのビジネス分野 (一部) Imaging Solution Development 【Confidential】 6

高額装置のフィールドサービスと遠隔支援の必要性 Imaging Solution Development 1. 熟練者不足によるボトルネック: ユーザを待たせたり、大量のバックオーダを抱えたりしている 2. 出荷台数が少なかったりカスタム品もあり、マニュアル類の完成度が高くない場合がある 3. トレーニングするにもトレーニング用の実機の数が限られている 4. 感染症等で出張に行けない場合がある 遠隔支援システムにより 熟練者が現地に移動せず一般作業者を支援 【Confidential】 7

既存製品での遠隔支援の検討時に見つかった課題と対策 Imaging Solution Development HoloLens2アプリの 自社開発によって解決 1. クラウドを使用しなくてはならないという制約 → オンプレミス版 2. ネイティブ話者ではない相手には、言語だけでは足りない → ジェスチャー 3. 光学部品は黒いものが多いが、既存の遠隔支援システムの映 → 支援者による画質調整 像だと、しばしば黒潰れして見えない 4. 望遠鏡や顕微鏡像の接眼像を支援者と共有したいが、MRデ バイスでは覗き込むことができない → 外部カメラの活用 Unityの出番! 【Confidential】 8

開発したシステム リアルタイムに作業者の視野を共有 MR (Mixed Reality) 機能で熟練者の指示を伝達 Microsoft HoloLens2 ＋ 支援者オフィス Nikon Software 特長 1. 遠隔でも正確な判断ができるカメラ メーカーならではの画質制御 2. 外付けカメラ併用で頭部カメラでは 観察できない対象もOK 3. 選択できるネットワーク（オンプレ ミスへの対応） 製造現場

システム構成 クラウド使用時の接続 オンプレミス版の接続 クラウド 拠点B: 支援者 遠隔支援サーバ 通信中継PC Gateway LAN 拠点A: 作業者 Mobile WiFi WAN Gateway Gateway 遠隔支援サーバ LAN LAN WiFi 作業者用 支援者側もHoloLens2 を使うことは可能 支援者用PC HoloLens2 HoloLens2版アプリ PC版アプリ Confidential

基本的な使い方 作業者側 (HoloLens2) 映像・音声 コミュニケーション テレビ会議 資料共有 対象物マーキング 支援者がマウスで指示 通信 支援者側 (PC)

ジェスチャー相互通信 ジェスチャー共 有 3Dモデルと手でリアルタイムにコミュニケーション 3Dモデルとジェスチャーの相互共有 Imaging Solution Development HoloLens2 もしくは 変換 ダウンロード 投影 3Dモデルを共有 3Dモデルがない場合の運用例 ① 熟練者(教育する側) CAD図 3Dモデル 相手の3Dモデルと座標合わせをして 現物の物体でジェスチャー共有 ※1 遠隔共有 遠隔共有 HoloLens2 変換 ダウンロード 投影 3Dモデルに合わせて相手の手モデルを表示 ② 作業者(教育を受ける側) 現物の物体を互いに座標合わせして 相手の手モデルを表示 今回のデモでは ① ②のハードウェア、3Dモデルを映ソで用意致します 12

"Nikon D6" (https://skfb.ly/osyBy) by The Clipping Path Service, LLC. is licensed under Creative Commons Attribution (http:// creativecommons.org/ licenses/by/4.0/)

支援者による画質コントロール 他社製品では苦手な対象でもニコンなら長年のノウハウに基づく 画像処理で見えます 他社製品 ニコン 黒 い 部 品 の 詳 細 が 潰 れて し ま う 黒 い 部 品 で も 詳 細 が 見 える ※白い部品が潰れるような場合にも対応 14

外部カメラ連携 外部カメラ連携でMRデバイスのカメラだけでは見えない対象も見ることができます マク ロ レンズ で 観 察 接 眼 レンズ 像 の 観 察 装置背面の計器など別 視点観察 MRデバイスでは近づけない MRデバイスでは覗けない MRデバイス側から見えない 外部カメラの映像は 作業者 ： MRデバイス装着者の視野に重畳表示 支援者 ： PC画面に表示(MRデバイスのカメラ映像も同時に表示) 16

Unity で業務アプリケーションを開発する上での課題と対応 1. Unityでゲーム以外に開発できるのか? 2. 映像の通信処理の実現 3. ビジネスアプリケーションではありそうなGUIパーツがない 18

Unity でゲーム以外に開発できるのか? Native Plugin の利用例 1. [究極のオブジェクト指向] Unityって、まさにオブジェクト指向だと 思います。3D空間に配置したオブジェクトに対して、それぞれその 振る舞いを記述するスクリプトを割り当てる。 リアルなスマートフォンを仮想空間 から操作するデバイス制御で使用 (ISS 2018) 2. [言語の拡張性] C# なので、何でも書ける。C#で書かれたライブラリ はだいたい使える。C# で済まないものは Native Plugin を使えば良 い。 3. [実空間と仮想空間の重ね合わせ] MixedRealityアプリケーション開 発は、仮想空間と実世界を重ね合わせて開発するので、Unity を使え ば、仮想の3D空間に対して書くように、実世界に対しても書くこと ができる。(例)「対象物マーキング」という機能は、レイがメッシュ にあたった座標を求めることにより実現。 結論として、Unityでゲーム以外の開発、もちろんできます! 19

映像の通信処理の実現 1. WebSocketSharpを使用する。これで、通信するソフトウェアはたいてい何でも作れます。 2. スレッドを使わなくてもプログラムが書けます。 1. WebScoketのクライアント側では、映像を受け取ると受信処理の中で、映像表示を管理す るオブジェクトに映像データをセットします。 2. 映像表示のオブジェクトの Update 関数の中で実際の表示処理をします。 3. Unity の動作ループは、オブジェクトリストを順番に Update() 関数を呼ぶ形なので、1ループ の処理時間が基本1サイクルになります。 4. 1ループの処理時間が遅くなると、画像の更新が遅くなるので、Unity Profilerを活用し、時間が かかっている処理を調べたり、ガーベージコレクション(GC)の影響を分析して、対策をとるこ とができます。 20

ビジネスアプリケーションではありそうなGUIパーツがない 1. ボタン、スクロールバー、リスト構造、ツリー、レイアウトなどは、Unityに用意されていない。 2. 対策: 自分でオブジェクトを作るしかない。 こういうGUIパーツは用意されていないので Title Title Item Item Text Text Item Item Text Text Item Text こういうのは開発チームが作りました 21

まとめ 1. 既存遠隔支援ソリューションでの課題 2. ニコンの遠隔支援ソリューションの特長 3. Unityで一般アプリケーションを開発する上での課題と対策 ニコンの遠隔支援ソリューションは、2024年4月販売開始を目指して開発の最終段階に入っています 販売開始前の説明/デモ/トライアルを希望される方がいらっしゃれば、下記までご連絡ください E-mail: info.remote@nikon.com 22