ロボット「toio」をUnityで自在に制御!「toio SDK for Unity 」の紹介

1.4K Views

October 27, 20

スライド概要

ソニー・インタラクティブエンタテインメント(SIE)のロボットトイ「toio」をUnityから制御できる「toio SDK for Unity」についてご紹介します。机の上で手軽に動かせる小型ロボット「toio」をUnityと組み合わせれば、スマートフォンからロボットを動かしたり、ARで触れるゲームやインタラクティブなアートを作ったり、ロボット制御やAIの研究開発・学習用途にも活用可能です。本講演ではtoio™のロボットとしての魅力や「toio SDK for Unity」の概要や開発手法、およびデモ作品たちを紹介します。

profile-image

リアルタイム3Dコンテンツを制作・運用するための世界的にリードするプラットフォームである「Unity」の日本国内における販売、サポート、コミュニティ活動、研究開発、教育支援を行っています。ゲーム開発者からアーティスト、建築家、自動車デザイナー、映画製作者など、さまざまなクリエイターがUnityを使い想像力を発揮しています。

シェア

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

新公開の開発環境 「toio SDK for Unity」 をご紹介! ロボットトイ「toio(トイオ)」 とUnityでの開発事例のご紹介 Unity道場ロボティクススペシャル 龍の巻 2020/10/10 ソニー・インタラクティブエンタテインメント toio開発者 田中章愛 モリカトロン株式会社 AIエンジニア 本間翔太/銭 起揚 © 2020 Sony Interactive Entertainment 1

2.

@toio_jp https://toio.io

3.

#toio #Unity

4.

本日のお題 ・ロボットトイ「toio™(トイオ)」の紹介 ・新開発環境「toio SDK for Unity」 © 2020 Sony Interactive Entertainment 4

5.

「つくって、あそんで、ひらめいて」 好きな形や動きをつくって エンタメ的体験であそべるロボット 創意工夫を引き出す New! ロボットトイ Coming Soon カートリッジであそぶ、プログラミングでつくる © 2020 SonyInteractive Interactive Entertainment © 2020 Sony Entertainment 5 5

6.

自己紹介:田中 章愛(たなか あきちか) ソニー・インタラクティブエンタテインメント toio事業推進室 課長(事業開発担当)/ toio開発者 2002年 2006年 同年 2013年 2014年 2016年 佐世保高専卒業(NHKロボコン全国大会出場) ロボコン三昧 筑波大学大学院修了(RoboCup Rescue世界大会出場) ソニー(株)入社、ロボットの研究開発に従事 スタンフォード大学訪問研究員 ロボット研究者 スタートアップ創出と事業運営を支援する 「Seed Acceleration Program(SAP)」や 「Creative Lounge」の企画運営 社内スタートアップ SAPの新規事業としてロボットトイ「toio」提案 のリーダー 以降、商品化・事業化に従事 2018年~ ソニー・インタラクティブエンタテインメント にて「toio」の商品企画と事業開発を担当 © 2020 Sony Interactive Entertainment 現在PlayStation® でおなじみのSIEで 「toio」を企画 6

7.

触って夢中になれるデジタル体験が目の前に カートリッジで様々な あそびのテーマを提供 “クラフトファイター” 自由な発想を投影 → 夢中になる → 工夫したくなる ドライブ・自動運転 工作生物 金賞 © 2020 SonyInteractive Interactive Entertainment © 2020 Sony Entertainment 7 7

8.

開発姿勢:2012年からの夢が徐々に現実に ユーザーテスト toioTM 開発者 技術開発 「実世界インタラクティブエンタテインメント」をつくろう! “絶対位置検出” ユーザーテスト 正確な動き・高いゲーム性 企画⇒試作⇒改善… 光学式センサー © 2020 Sony Interactive Entertainment © 2020 Sony Interactive Entertainment 特殊パターン 8 8

9.

https://www.youtube.com/watch?v=0-QrT1PtKY4&t=113s © 2020 Sony Interactive Entertainment 9

10.

“あそび感覚でプログラミング” ~3段階にステップアップ~ 小学生(低)~:基本 「順次・分岐・反復」を体感 アンプラグド 敷居は低く、壁は広く、 天井は高く by ミッチェル・レズニック MIT教授 小学生(高)~:創作 多角形・アルゴリズム・ゲーム ビジュアルプログラミング 中学生~大人:本格 ロボット/AI/インタラクション JavaScriptライブラリ &技術仕様公開 (Windows10/Mac対応) (パソコン不要・カード式) プログラミングもあそびになる © 2020 Sony Interactive Entertainment © 2020 Sony Interactive Entertainment 10 10

11.

“あそび感覚でプログラミング” ~3段階にステップアップ~ 小学生(低)~:基本 「順次・分岐・反復」を体感 アンプラグド 敷居は低く、壁は広く、 天井は高く by ミッチェル・レズニック MIT教授 New! 小学生(高)~:創作 多角形・アルゴリズム・ゲーム ビジュアルプログラミング 中学生~大人:本格 ロボット/AI/インタラクション JavaScriptライブラリ &技術仕様公開 (Windows10/Mac対応) (パソコン不要・カード式) プログラミングもあそびになる © 2020 Sony Interactive Entertainment © 2020 Sony Interactive Entertainment 11 11

12.

本日のお題 ・ロボットトイ「toio™(トイオ)」の紹介 ・新開発環境「toio SDK for Unity」 © 2020 Sony Interactive Entertainment 12

13.

New! 「toio SDK for Unity」 Developed by © 2020 Sony Interactive Entertainment 13

14.

New! 「toio SDK for Unity」 ゲームエンジンUnityを使ってロボット「toio」のスマホアプリやゲーム開発が手軽に • 豊富なライブラリやアセットを活用し、ARや機械学習も統合できる • ロボット工学やインタラクション、メディアアートなど多彩な活用が可能 Developed by Unity上シミュレーターで開発 スマホアプリ(iOS)からtoioが動く! © 2020 Sony Interactive Entertainment 「ウロチョロス」 のような実世界 ゲームが開発可能 14

15.

ここからは・・・ 「toio SDK for Unity」の深い話 開発:モリカトロン株式会社 © 2020 Sony Interactive Entertainment 15

16.

https://morikatron.com/t4u/ (※モリカトロン 本間様・銭様のプレゼンテーションをご覧下さい) © 2020 Sony Interactive Entertainment 16

17.

New! 「toio SDK for Unity」 α版モニター事例紹介(個人作品) 「AR Touch」 by 橋本直(明治大学/工学ナビ) 「リモートすごろく」 by 高友康、藤波秀麿(東京大学 筧研究室) ビジュアルスクリプティングBoltでの開発も! 「Bolt with toio」 by comoc 「ミニチュアムービーメーカー」by tokyoamado 「トイオで徒競走」 by kawachin, numachin © 2020 Sony Interactive Entertainment 17

18.

toio SDK for Unityの感想 ユニティ・テクノロジーズ・ジャパン 小森 顕博 様 「Bolt with toio」 by comoc © 2020 Sony Interactive Entertainment https://note.com/unityjapan/n/nf9ca97d3d472 18

19.

New! 作品動画コンテスト 「ロボやろ」 #toio #Unity #ロボやろ © 2020 Sony Interactive Entertainment 19

20.

New! 「ロボやろ」 作品動画コンテスト • 開催概要 – – • • toioやUnityのオリジナル作品動画オンラインコンテスト (シミュレーター参加もOK!) YouTube&Twitter・ブログで作品動画投稿し、応募フォームに記入 賞&リワード – View数や内容にインパクトのあるものを表彰&リワード進呈 – toio & Unity大賞リワード:Unity推奨PC+toio特別セット ほか賞・リワード多数 #toio #Unity #ロボやろ 審査員 – – ソニー・インタラクティブエンタテインメント 田中章愛 ユニティ・テクノロジーズ・ジャパン 小森様 エントリー・作品募集期間:10/10-11/4 ※他ゲスト審査員追加次第告知予定 主催:ソニー・インタラクティブエンタテインメント 協賛:ユニティ・テクノロジーズ・ジャパン 協力:モリカトロン株式会社、株式会社スイッチサイエンス © 2020 Sony Interactive Entertainment 審査発表日:11/6 ※日程や内容は状況により変更になる場合があります。 20

21.

@toio_jp https://toio.io

22.

最後に・・・ 開発に役立つ新商品ご紹介 © 2020 Sony Interactive Entertainment 22

23.

New! toio™開発用プレイマット 開発者向けtoio専⽤マット、A3サイズ12枚セット • toioの絶対位置が印刷され、高度なロボット開発やプログラミングに最適 • 裏面は最⼤12枚まで並べることで、⼤きなプレイエリアとして利⽤可 • 表⾯は簡易プレイマット(6枚)、簡易カード(6枚)としても使⽤可 12枚並べると約1.2m角の正方形に Distributed by © 2020 Sony Interactive Entertainment 23

24.

New! toio™開発用プレイマット SwitchScience「「toio」ではじめよう、おうちでロボット開発キャンペーン」 より https://mag.switch-science.com/2020/05/19/toio-posts/ https://mag.switch-science.com/2020/07/01/toio-posts-2/ © 2020 Sony Interactive Entertainment 24

25.

工作も、ゲームも、プログラミングも、創意工夫で楽しもう。 「toio」のあそびはどんどん広がります。 © 2020 Sony Interactive Entertainment © 2020 Sony Interactive Entertainment 25

26.

#toio #Unity #ロボやろ

27.

ぜひ一緒にtoio で 「実世界インタラクティブエンタテインメント」 をつくりましょう! TM

28.

“Sony”はソニー株式会社の商標です。 各ソニー製品の商品名・サービス名はソニー株式会社またはグループ各社の登録商標です。その他の製品および会社名は、各社の商号、登録商標または商標です。 © 2020 Sony Interactive Entertainment

29.

Unity道場 ロボティクススペシャル 龍の巻 1

30.

自己紹介 講演者 ゲーム会社でエンジニア として従事。その後東京 工科大学でゲームと認知 心理の研究に取り組む。 修士卒業後、AIエンジニ アとしてモリカトロン株 式会社へ入社。 東京大学機械工学専攻で自 動運転と強化学習の研究を 行い、 修士卒業後、AIエン ジニアとしてモリカトロン 株式会社に入社。 本間 翔太 銭 起揚 モリカトロン株式会社 AIエンジニア モリカトロン株式会社 AIエンジニア

31.

概要 toio SDK for Unity は、Unityエンジン で toio™コア キューブ(以降キューブ)を制御するための開発環境です。 3

32.

一通りの流れ 1. Unityプロジェクトを作ります 4

33.

一通りの流れ 2. SDKを導入します ※その他の手順は導入ドキュメントをご参考下さい。 5

34.

一通りの流れ 3. コードを書いて、シミュレータで動かします https://youtu.be/rCKu6J3MggA 6

35.

一通りの流れ 4. iOSアプリを作ります プラットフォームに応じて、通信システム自動切り替え 7

36.

機能一覧 ● Cubeクラス キューブをプログラム制御するモジュール ● Bluetooth デバイスを通信制御するモジュール ● Simulator UnityEditor で toio のシミュレーションをするモジュール ● 制御モジュール Cube を単体及び群集として動かすモジュール

37.

機能一覧 ● Cubeクラス キューブをプログラム制御するモジュール ● Bluetooth デバイスを通信制御するモジュール ● Simulator UnityEditor で toio のシミュレーションをするモジュール ● 制御モジュール Cube を単体及び群集として動かすモジュール

38.

Cubeクラス 10

39.

Cubeクラス スキャン 11

40.

Cubeクラス スキャン 接続 12

41.

Cubeクラス スキャン 接続 命令 13

42.

Cubeクラス CubeUnity Cube CubeReal 14

43.

Cubeクラス 15

44.

機能一覧 ● Cubeクラス キューブをプログラム制御するモジュール ● Bluetooth デバイスを通信制御するモジュール ● Simulator UnityEditor で toio のシミュレーションをするモジュール ● 制御モジュール Cube を単体及び群集として動かすモジュール

45.

Bluetooth iOS Cube 通信インターフェイス Web 17

46.

Bluetooth 多台数動かせる 開発者登録が必要 iOS Web 18

47.

Bluetooth シェアできる 台数制限がある iOS Web 19

48.

Bluetooth iOS Cube Web 通信インターフェイス Mac Android 20

49.

機能一覧 ● Cubeクラス キューブをプログラム制御するモジュール ● Bluetooth デバイスを通信制御するモジュール ● Simulator UnityEditor で toio のシミュレーションをするモジュール ● 制御モジュール Cube を単体及び群集として動かすモジュール

50.

Simulator Simulator が生まれる前には… Bug Build (数十秒~数分) 22

51.

Simulator Simulator を加えることで… Bug Play (1秒で) 少ない Bug Build (数十秒~数分) 23

52.

Simulator ● Mat マットオブジェクト ● Standard ID カード・シート オブジェクト ● Cube コアキューブ オブジェクト ※Simulatorの画面キャプチャーです 24

53.

Simulator ● Mat マットオブジェクト ● Standard ID カード・シート オブジェクト *数が多いので省略 ● Cube コアキューブ オブジェクト ※Simulatorの画面キャプチャーです 25

54.

Simulator ● Cube ○ toio™コアキューブ仕様2.0.0に対応 しています。 ○ 物理、通信遅延のシミュレーショ ンも実装しています。 ○ マウスとキーボードで、Drag&Drop などの操作ができます。 ※Simulatorの画面キャプチャーです 26

55.

Simulator ※Simulatorの画面キャプチャーです 27

56.

機能一覧 ● Cubeクラス キューブをプログラム制御するモジュール ● Bluetooth デバイスを通信制御するモジュール ● Simulator UnityEditor で toio のシミュレーションをするモジュール ● 制御モジュール Cube を単体及び群集として動かすモジュール

57.

単体制御 CubeHandle ● メソッド ○ 目標座標・角度に到達 (closed-loop) ○ 指定距離・角度で前進・回転 (open-loop) 29

58.

単体制御 CubeHandle ● 予測によるボーダー制限 単発の指令でも、それによる軌跡を予測して、マットを出る前に 止まれるように、指令の継続時間をカットします。 同じ指令(速度&継続時間)を違うAPI で出しています。 ● 緑:CubeHandle.Move ● 赤:Cube.Move 30

59.

群制御 CubeHandleを多台数の場合に使うと… 互いに意識していないので、当然ぶつかります。 *対角に移動するタスク 31

60.

群制御 Navigator ● 自然に他個体を避ける Human-like 衝突回避(改良版) ● 群がり Boids (魚のような集団行動を作れるアルゴリズム) 32

61.

群制御 Navigator ● 群がりながら、自然に移動できます Human-like 衝突回避(改良版)× Boids *弊社の技術解説ブログ https://tech.morikatron.ai/entry/2020/03/04/100000 *台数が多いためパケロスで少しカクつきます 33

62.

群制御 デモ「鬼ごっこ」 https://www.youtube.com/watch?v=mKl3XM30b00 34

63.

ご静聴、ありがとうございました。 35