産業用ロボットにおけるUnityとAI技術の活用

株式会社 エイアイキューブ 太刀掛浩貴 Generative Art — Made with Unity 産業用ロボットにおける UnityとAI技術の活用

自己紹介 • 太刀掛 浩貴 （タチカケ ヒロキ） • ～2016年 東北大学 バイオロボティクス専攻 ✓ 製造業向けの作業支援ロボット • • • • • 機械設計 電気設計 認識 （自己位置推定） 制御 機械学習 （作業者の行動認識） …, etc. • 2016年 株式会社 安川電機 入社 ✓ 新規事業向けのロボット開発 • 深層学習 • 2018年 株式会社 エイアイキューブ 出向 ✓ 現職

本日の内容 • 産業用ロボットにおけるUnityとAI技術(特に深層学習)の活用について 私たちの取組みを事例として紹介 • ばら積み部品をピックアップ？ • AI？ • シミュレーション？ MONOistに掲載された記事[1] [1] MONOist, https://monoist.atmarkit.co.jp/mn/articles/1912/24/news063.html (accessed 2020/9/25).

本日の内容 • 過去の関連するプレゼンテーション資料 2019国際ロボット展(iREX2019)[2] JDLA 合格者の会[3] [2] 安川電機 e –メカサイト, https://www.youtube.com/watch?v=s3kHYTkDVNI (accessed 2020/9/25). [3] 一般社団法人日本ディープラーニング協会, https://www.youtube.com/watch?v=iUpJySHU7yQ (accessed 2020/9/25).

本日の内容 • 今回は開発者の目線からお話しします！！ 含まれる内容 • 製造業のおけるUnityの活用事例や 今後の方向性 含まれない内容 • Unity活用のノウハウ ⇒ 産業用ロボットの分野でUnityのようなゲームエンジンが今 or 今後 どう関わってくるか？の参考になれば幸いです

エイアイキューブとは？ • 安川電機について • 100年以上の歴史のある会社 • “メカトロニクス”という考えを初めて提唱したのは，実は安川電機 コア製品群 インバータ サーボ&コントローラ 産業用ロボット

エイアイキューブとは？ • 産業用ロボット活用の領域の拡大 人の動作の 模倣 一 般 産 業 導入に対する簡易性向上 ・安全柵なしでの設置 ・教示の簡易化 ・配置・移動の自在性向上 ロボットの新しい 活用領域の追求 ｺﾞﾙﾌｽｲﾝｸﾞﾛﾎﾞｯﾄ MotoMINI バイオ メディカル 搬送 液晶･半導体搬送ロボット 分析前処理ロボットセル ﾋﾟｯｷﾝｸﾞ・ﾊﾟｯｷﾝｸﾞ ﾊﾟﾚﾀｲｼﾞﾝｸﾞロボット バイオメディカル用 双腕ロボット 自走式双腕ロボット 人協働ロボット 多能工型 ビジョン技術 7軸・双腕ロボット 塗装用途最適化ロボット 自 動 車 溶接 塗装 組立 スキルの拡大 ・各種センサーの利用 ・作業ツールの充実 レーザ溶接 アーク溶接 スポット溶接 新型7軸ロボット 力覚技術 多才さ、柔軟性、人との協調性 高生産性=正確性・多量・高速 ロボットに求められる能力

エイアイキューブとは？ • i3-Mechatronics（アイキューブメカトロニクス） １．Integrated 製品や周辺機器とのデータ統合によって状況を把握 ２．Intelligent 統合されたデータを動きに変えて継続的な価値を届ける ３．Innovative 1，2を更に高めるための技術革新 新しいモノづくりを実現する手段としてAI技術を活用！！

エイアイキューブが目指すこと モータのデータを核とした現場のデータ活用に、 AI技術を融合し生産現場に導入 今まで自動化が難しかった領域の自動化を実現 ものづくりの現場の自動化領域が拡大 お客様とinnovativeな状態を実現

エイアイキューブの取組み ① 時系列データ解析 ② 画像診断・解析 ③ ロボティクス しきい値判定では難しい 機械の予兆の検知・予測 目視による異常検知や 製品の外観検査の自動化 産業用ロボットの 技術領域と応用範囲の拡大 異音・振動検知による 製造品質/工場の生産性向上 微細なキズ・ヘコミ・擦れの 検出，異物・不良の検出 嵌合作業、ピッキング作業の ロボット化など これまで取り組んだテーマの一例 • ボールねじ故障予知診断 • モータ異音の検査 • 溶接ビード研削状態の判定 • 車載基板の不良検査 • 食品内の異物の検査 FA機器の“機能”としてAIを実装 • ギヤ嵌合作業の自動化 • バラ積みピッキング • ロボット動作の自動生成

産業用ロボットが製造現場のデータを活用するためには？ • “機能”を実装するだけで十分か？ 2017国際ロボット展(iREX2017)[4] [4] 安川電機 e-メカサイト, https://www.youtube.com/watch?v=N9E2ZOjyUW8 (accessed 2020/9/25).

産業用ロボットが製造現場のデータを活用するためには？ • “機能”を実装するだけで十分か？ 2017国際ロボット展(iREX2017)[4] [4] 安川電機 e-メカサイト, https://www.youtube.com/watch?v=N9E2ZOjyUW8 (accessed 2020/9/25).

産業用ロボットが製造現場のデータを活用するためには？ • “機能”を実装するだけで十分か？ ⇒ データ収集のプロセスとセットで考える必要がある • 製造現場のデータは“特定タスク”の“複数条件下”におけるデータ • 顧客ごとにタスクが異なる＋性能が要求される ＝ 画像や自然言語の分野で有効であった 汎化 → 特定のタスクへのチューニングという方法が採用しづらい • 自動化が難しい領域 ＝ タスクの中でも環境や条件が変化する • 実機を用いたデータ収集のコスト • 試行回数を大きくできない • 人手で環境を構築/再構築する必要がある • 実機が壊れる … など シミュレーションの活用

産業用ロボットが製造現場のデータを活用するためには？ • 現実世界とシミュレーションとの違い • 周囲環境のモデルや観測値，動作指令から結果を得るプロセスにおいて 現実世界とシミュレーションでは違い（Reality gap）が存在する ⇒ シミュレーションで生成した動作指令が現実世界では機能しないことがある シミュレーション 状態 状態遷移 観測 Reality gap 現実世界 状態 状態遷移 観測値 Reality gap 観測 観測値 動作指令生成機能 動作結果 Reality gap 動作指令生成機能 動作結果

産業用ロボットが製造現場のデータを活用するためには？ • 従来のシミュレータの役割 • 事前の動作検証（経路計画・干渉判定など） 従来のシミュレータ (例：MotoSim[5]) [5] Yaskawa America, Inc., https://www.youtube.com/watch?v=WPFEEt8AeTQ&list=PLoQTh8O3tekKLMGU4_nlXrHV8uoZJdFz5&index=1 (accessed 2020/9/25)

産業用ロボットが製造現場のデータを活用するためには？ • 従来のシミュレータの役割 ⇒ 深層学習の発展によって，複雑な関係性を持つデータフローの一部を学習によって 獲得することが可能になった（色々と限界はある…） 例 画像 画像 画像 ボックスの位置・大きさ (高次元) (高次元) (高次元) (4次元)

産業用ロボットが製造現場のデータを活用するためには？ • 従来のシミュレータの役割 ⇒ 従来のシミュレーションの各データフローの一部にニューラルネットワークと 現場のデータを用いた学習のプロセスが加わる シミュレーション 動作指令生成機能 現実世界 Reality gap Reality gap Reality gap 動作指令生成機能

産業用ロボットが製造現場のデータを活用するためには？ • 従来のシミュレータの役割 ⇒ 従来のシミュレーションの各データフローの一部にニューラルネットワークと 現場のデータを用いた学習のプロセスが加わる シミュレーション 動作指令生成機能 シミュレーションと現実世界の違いがなくなるように， 現場のデータを用いて学習を実行 現実世界 動作指令生成機能 現場のデータ

産業用ロボットが製造現場のデータを活用するためには？ • 従来のシミュレータの役割 ⇒ 従来のシミュレーションの各データフローの一部にニューラルネットワークと 現場のデータを用いた学習のプロセスが加わる シミュレーション 動作指令生成機能 シミュレーションの データ収集によって 学習した機能が使える シミュレーションと現実世界の違いがなくなるように， 現場のデータを用いて学習を実行 現実世界 動作指令生成機能 現場のデータ

産業用ロボットが製造現場のデータを活用するためには？ • 従来のシミュレータの役割 ⇒ 従来のシミュレーションの各データフローの一部にニューラルネットワークと 現場のデータを用いた学習のプロセスが加わる シミュレーション 動作指令生成機能 シミュレーションの データ収集によって 学習した機能が使える シミュレーションと現実世界の違いがなくなるように， 現場のデータを用いて学習を実行 現実世界 動作指令生成機能 現場のデータ

産業用ロボットが製造現場のデータを活用するためには？ • 従来のシミュレータの役割 ⇒ 従来のシミュレーションの各データフローの一部にニューラルネットワークと 現場のデータを用いた学習のプロセスが加わる シミュレーション 動作指令生成機能 シミュレーションと現実世界の違いがなくなるように， 現場のデータを用いて学習を実行 現実世界 シミュレーションの データ収集によって 学習した機能が使える 動作指令生成機能 ✓ 製造現場のデータを活用するためのキーアイテムの一つになる(はず) ⇒ エイアイキューブ設立後，取組みを開始 現場のデータ

具体的な取組み：ばら積みピッキング • ばら積みピッキング • タスク設定：取組みを形にするために“ばら積みピッキング”をターゲットに設定 把持物体の種類が既知な環境 把持物体の種類が未知な環境 (例： 配膳工程[6]) (例：物流倉庫[7]) [6] https://gazoo.com/article/daily/170424.html (accessed 2020/9/25) [7] https://www.asahi.com/articles/ASK6Y4SK0K6YPPZB00B.html (accessed 2020/9/25)

具体的な取組み：ばら積みピッキング • ばら積みピッキング • 課題：物体の種類に対する網羅性の向上（＝費用対効果の向上） ⇒ 目標：単一のシステムで複数の種類/条件に対応させる 物体をつかむ場所 決めて取る※1 把 持 物 体 の 種 類 従来のピッキングシステム (例 : MotoSight3D[8]) [8] 安川電機 e-メカサイト, https://www.e-mechatronics.com/product/robot/related/MotoSight3D/feature.html (accessed 2020/9/25). 決めないで取る※2 剛体 柔軟 不定形 ピッキング可能な 物体の種類が拡大

• https://www.e-mechatronics.com/product/robot/related/MotoSight3D/feature.html

具体的な取組み：ばら積みピッキング • ばら積みピッキング • 方法：シミュレーション内の観測値（= 画像）を現実世界と近づけた状態で 把持動作生成機能のためのデータ収集と学習を行う シミュレーション 把持動作生成機能 現実世界 Reality gap Reality gap Reality gap 把持動作生成機能

具体的な取組み：ばら積みピッキング • ばら積みピッキング • 方法：シミュレーション内の観測値（= 画像）を現実世界と近づけた状態で 把持動作生成機能のためのデータ収集と学習を行う シミュレーション 把持動作生成機能 現実世界 Reality gap 把持動作生成機能

具体的な取組み：ばら積みピッキング • ばら積みピッキング • 方法：シミュレーション内の観測値（= 画像）を現実世界と近づけた状態で 把持動作生成機能のためのデータ収集と学習を行う シミュレーション 把持動作生成機能 現実世界 把持動作生成機能

具体的な取組み：ばら積みピッキング • ばら積みピッキング • 方法：シミュレーション内の観測値（= 画像）を現実世界と近づけた状態で 把持動作生成機能のためのデータ収集と学習を行う シミュレーション 把持動作生成機能 現実世界 把持動作生成機能

具体的な取組み：ばら積みピッキング • まずは試作開発から・・・ • 社内でデモを作成 ⇒ 取組みとして本格スタート

具体的な取組み：ばら積みピッキング • 試作開発で出た課題： • 扱えるオブジェクトのモデルやシーンに限界があった • メッシュ数，テクスチャ… など • もう少し綺麗なグラフィックスを使ってみたい • カスタマイズ性をあげたい • 把持動作の部分だけ実装して精度を高めたい • 学習に必要なアノテーションデータ等は内部で生成して，取得できる仕組みにしたい • 将来的に実環境の様々な設備・データと連携させたい • エコシステムを形成できるような仕組みが欲しい

具体的な取組み：ばら積みピッキング • Unityの採用 • 苦労した点： • エンジニアはどこに？ • Unityとロボティクスを両方分かるエンジニアがいない … • 打合せのときに使う用語が分からない • 本やセミナーに行って勉強 • 既存のシステムとの連携 把持動作のシミュレーション • ばら積みピッキングの学習用のシステムは既にあったため， それをいかすようなシステム設計 • 良かった点： • 事前知識がなくてもシーンの作成やデバッグができる • テストプレイですぐ確認できる • 他の人が作ったアセットが使える • コライダーの自動設定など全て自前実装しなくても ストアに売っている ばら積みのシミュレーション

具体的な取組み：ばら積みピッキング • 学習型のばら積みピッキングシステム • データ収集＋機能（＝把持動作） 学習型ピッキングシステム 把持動作生成指令機能 入力 出力 把持動作生成指令機能 object mesh

具体的な取組み：ばら積みピッキング • 学習型のばら積みピッキングシステム • ハードウェアの構成を変えずにデータを変更すると把持動作を適応させることが可能 同一のプロセス 学習型ピッキングシステム … ・・・ ・・・ 学習型ピッキングシステム

具体的な取組み：ばら積みピッキング • 学習型のばら積みピッキングシステム • 同一システムでピッキング可能な物体の種類が拡大 形状が変形する人形 半透明のボトル 重量部品 袋入り菓子 ケーブル 柔らかい人形

具体的な取組み：ばら積みピッキング • ばら積みピッキング≠最終ゴール ⇒ 現場のデータをモーションにつなげるための取組みの一部 2019国際ロボット展(iREX2019)[2] [2] 安川電機 e –メカサイト, https://www.youtube.com/watch?v=s3kHYTkDVNI (accessed 2020/9/25).

今後の方向性 • 世の中の技術動向 • データ＋シミュレーションに関連する技術が発展 ⇒ 今後のゲームエンジンはリアルなデータとのつながりが重要に！！ シーン/パラメータの生成/調整[9] シミュレーションと実データの間 のギャップの吸収[10] 学習可能(微分可能)な 物理シミュレータ[11] [9] J. Devaranjan et al. ,“Meta-Sim2: Unsupervised Learning of Scene Structure for Synthetic Data Generation,” ECCV2020. [10] Y. Chebotar et al., “Closing the Sim-to-Real Loop: Adapting Simulation Randomization with Real World Experience,” ICRA2019. [11] Yi-Ling Qiao et al.,“Scalable Differentiable Physics for Learning and Control,“ ICML2020.

現在の取組み • 製造業の様々な用途への展開 例：基板の傷検出 例：機械の異常検知 • 継続的な現場での実課題の解決へ • 顧客とともに新たな“モノづくり”のプロセスを目指す！ • AI （深層学習等） で全てが解決するわけではない・・・( 全体の仕組みづくりが大切 ) ⇒ “ モノ”の革新が必要 ＝ × …

Thank you !! Email：Hiroki.Tachikake@ai3cube.co.jp