【Unite Tokyo 2018】XR x AI Watsonで もっと拡がるUnity開発

>100 Views

May 10, 18

unite unity unity3d unitetokyo unitetokyo2018

スライド概要

講演者：佐々木 シモン（IBM）

こんな人におすすめ
・AIを活用した開発に関心のあるUnityエンジニアやデベロッパー
・アセットIBM Watson Unity SDKの使い方を知りたい方
・なるべくコストをかけずAIを使ってみたい学生

受講者が得られる知見
・アセットIBM Watson Unity SDKの使い方
・Unityで音声認識や画像認識をアプリに実装する方法
・Unityで会話からユーザーの意図(喜怒哀楽など)を理解させる方法

profile-image
スライド一覧

リアルタイム3Dコンテンツを制作・運用するための世界的にリードするプラットフォームである「Unity」の日本国内における販売、サポート、コミュニティ活動、研究開発、教育支援を行っています。ゲーム開発者からアーティスト、建築家、自動車デザイナー、映画製作者など、さまざまなクリエイターがUnityを使い想像力を発揮しています。

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 51.28MB)

関連スライド

slide-thumbnail

UnityのVR開発環境の現状整理 2022
unity unitysync
user-img Unity Technologies Japan 116.6K
slide-thumbnail

UIもshaderで盛る！ 〜 shaderとanimationで作るリッチなUI演出
unity unitysync
user-img Unity Technologies Japan 85K
slide-thumbnail

オープンソース自動運転シミュレーター「AWSIM」のご紹介と実装事例
unity unitysync
user-img Unity Technologies Japan 65.1K
slide-thumbnail

トゥーンシェーダー応用編 ～楽して破綻のないアウトラインを目指して～
unity unitysync
user-img Unity Technologies Japan 55.3K
slide-thumbnail

モバイル向け大量描画テクニック
unity unitysync
user-img Unity Technologies Japan 51.4K
slide-thumbnail

UnityとMATLABで実現する自律ロボティクスシミュレーション
unity unitysync
user-img Unity Technologies Japan 33.7K
各ページのテキスト
1.

2018/5/7-9 XR x AI Watsonで もっと拡がるUnity開発 Augment your Unity apps with XR x AI Watson 佐々木 シモン Simon Sasaki IBM / Developer Advocate

2.

佐々木 シモン Simon Sasaki IBM / Developer Advocate 元フロントエンドエンジニアでXR大好き人間。現在の専門 はマネージドAI技術(IBM Watson Developer Cloud)を 中心にハイエンドVR／AR／MRに関心が高い。 IBM社内では量子コンピューター技術コミュニティーに属し ており、社外ではAIコミュニティー「水曜ワトソンカフェ」の モデレーターを務める。 @simonTokyo simontokyo simon3@jp.ibm.com

3.

Agenda •XR x AI •Asset Watson Unity SDK Asset VR Watson Speech Sandbox •Watson API on IBM Cloud •Unity SDKで使えるWatson API 紹介 •（参考）ハマりどころ •Online YouTube resources for Watson Unity SDK

4.

XR x AI Unity x IBM Watson

5.

XR開発におけるUnityシェア https://youtu.be/cmRSkHl-Gv0

6.

Star Trek: Bridge Crew https://youtu.be/KSqhXI4ilxM

7.

HTC Vive Oculus Rift PlayStation VR

8.

アセットWatson Unity SDK アセットVR Watson Speech Sandbox

9.

https://assetstore.unity.com/ibm

10.

11.

「WatsonをUnityで使ってみた」反響はBlogやYouTubeに

12.

https://youtu.be/NoO2R3Pz5Go

13.

14.

Unite Tokyo 2018 バーチャルYouTuber電脳少女シ ロがご紹介する「2018年の注目アセット100連発」 “100 Mus t -see As s et s for 2018” by Virt ual YouTuber, Cyber Girl Siro https://youtu.be/2tOoN_uMVt0?t=4m7s https://youtu.be/2tOoN_uMVt0?t=14m20s https://youtu.be/KYnCTlmVqMU?t=3m57s https://youtu.be/KYnCTlmVqMU?t=13m38s

15.

Watson API on IBM Cloud

16.

17.

https://youtu.be/Wq0XnBYC3nQ

18.

19.

Watson Developer Cloud - 参考価格と月間無料枠 10,000 API 無料 ￥0.26 30,000 items 無料 ￥0.3 CO NVERSAT I O N NAT URAL L ANG UAG E UNDERST ANDI NG 100分間 1万文字無料 ￥2/分 ￥2/千文字 TEXT TO SPEECH 7,500 API 無料 ￥0.2 1,000 API 無料 ￥1〜2

20.

Watson Unity SDKで開発するまでの大まかな流れ IBM Cloud アカウント作成 Watson API キー取得 Watson Unity SDK Unityアプリ開発 Watson API Explorer Watsonの カスタマイズ

21.

IBM Cloudアカウントの作成手順

22.

https://ibm.biz/BdZVKq

23.

*******

24.

https://ibm.biz/BdZVK

25.

Log in > Catalog - https://bluemix.net

26.

“ クレジットカードさえ持たずに 気軽にAI開発を始める No Credit Card required ”

27.

Watson Unity SDKで開発するまでの大まかな流れ IBM Cloud アカウント作成 Watson API キー取得 Watson Unity SDK Unityアプリ開発 Watson API Explorer Watsonの カスタマイズ

28.

Unity SDKで使える Watson API 紹介

29.

30.

Demo

31.

Watson Unity SDK - Asset > Watson > Scripts > Services

32.

Watson Developer Cloud – AI : Augmented Intelligence ,NOT Artificial Intelligence! VI SUAL CO NVERSAT I O N Discovery L ANG UAG E CL ASSI F I ER PERSO NAL I T Y T O NE ANAL YZ ER Empathy Vision MACHI NE TEXT TO I NSI G HT S NAT URAL L ANG UAG E UNDERST ANDI NG DI SCO VERY Assistant NAT URAL RECO G NI T I O N L EARNI NG KNO W L EDG E Speech & Language SPEECH SPEECH TO TEXT L ANG UAG E T RANSL AT O R VI RT UAL REAL I T Y ST UDI O

33.

Text to Speech（しゃべる）- Speech to Text（聞く）

34.

Text to Speech（しゃべる）- Speech to Text（聞く）

35.

SSML(音声合成マークアップ言語)対応 <p><s>AIとは何か。「AI」という言葉は、一般的には人工知能 （Artificial Intelligence）の略だと定義されているが、IBMでは人 間の知識を拡張・増強するもの（Augmented Intelligence）だと考 えている。<break time="1000ms"/>つまり「AIとは人間にとって変 わるもの」ではなく<prosody rate="-10%">「AIとは人間の知識 や、持てる知見などを拡張し、増強するもの」</prosody>だと捉え ている。</s></p> • Google AssistantやAmazon Alexaで開発するのと同様のイメージ

36.

https://youtu.be/fOfFrGsNwHo

37.

Natural Language Understanding （言ってることを理解する） joy sadness fear anger disgust

38.

Personality Insights（ユーザーの個性を理解する） https://personality-insights-demo.ng.bluemix.net

39.

Visual Recognition（見えた物を理解する）

40.

Visual Recognition（見えた物を理解する） https://developer.apple.com/ibm/

41.

Watson Assistant (Conversation) （対話する）

42.

Demo

43.

Discovery（分類する、記憶する、検索する）

44.

Watson Developer Cloud – AI : Augmented Intelligence ,NOT Artificial Intelligence! VI SUAL CO NVERSAT I O N Discovery L ANG UAG E CL ASSI F I ER PERSO NAL I T Y T O NE ANAL YZ ER Empathy Vision MACHI NE TEXT TO I NSI G HT S NAT URAL L ANG UAG E UNDERST ANDI NG DI SCO VERY Assistant NAT URAL RECO G NI T I O N L EARNI NG KNO W L EDG E Speech & Language SPEECH SPEECH TO TEXT L ANG UAG E T RANSL AT O R VI RT UAL REAL I T Y ST UDI O

45.

“ ” Watson Unity SDK使ってみたくなりましたか？

46.

(参考) ハマりどころ Watson Unity SDK - Script & Examples

47.

(参考) ハマりどころ Watson Unity SDK Config Editor 2017 v0.13 2018 v2.2

48.

(参考) ハマりどころ Watson Developer Cloud - Past & Now 2015 2018 http://www.redbooks.ibm.com/Redbooks.nsf/RedbookAbstracts/sg248387.html

49.

(参考) ハマりどころ Watson Developer Cloud - Past & Now 2015 2018 http://www.redbooks.ibm.com/Redbooks.nsf/RedbookAbstracts/sg248387.html

50.

アセットVR Watson Speech Sandbox

51.

Watson Unity SDKで開発するまでの大まかな流れ IBM Cloud アカウント作成 Watson API キー取得 Watson Unity SDK Unityアプリ開発 Watson API Explorer Watsonの カスタマイズ

52.

53.

https://developer.ibm.com/code /patterns/create-a-virtual-reality-speech-sandbox/ https://github.com/ibm/vr-speech-sandbox-cardboard

54.

Demo

55.

Watson APIキー(Credential)の発行

56.

Watson Unity SDKで開発するまでの大まかな流れ IBM Cloud アカウント作成 Watson API キー取得 Watson Unity SDK Unityアプリ開発 Watson API Explorer Watsonの カスタマイズ

57.

Log in > Catalog > Watson - https://bluemix.net

58.

Watson > Services name Create (e.g. Text to Speech) > Scroll down >

59.

Manage > Credentials

60.

“ 一度作成した後、再確認する場合 ”

61.

Dashboard

62.

Dashboard > Services name (e.g. Speech to Text-he)

63.

Manage > Credentials

64.

API Explorerによる単体テスト

65.

Watson Unity SDKで開発するまでの大まかな流れ IBM Cloud アカウント作成 Watson API キー取得 Watson Unity SDK Unityアプリ開発 Watson API Explorer Watsonの カスタマイズ

66.

https://watson-api-explorer.mybluemix.net

67.

Demo

68.

Watson Assistant (Conversation)による 対話単体テストとリアルタイム学習

69.

Watson Assistant (Conversation)による対話テスト

70.

まずUnityで使える主要なWatson API まとめ Watson Assistant チャット対話開発 Discovery/NLU 文書の理解/検索 STT/TTS 音声合成/音声認識 Visual Recognition 画像判別 CO NVERSAT I O N NAT URAL L ANG UAG E UNDERST ANDI NG TEXT TO SPEECH Personality Insights ユーザー性格分析

71.

まずUnityで使える主要なWatson API まとめ Assistant Discovery NLU STT/TTS Visual Personalit Recogniti y Insights on 管理 ツール 有り 有り 無し APIのみ 有り 無し APIのみ 備考 対話開発 文書の理解 文書の理解 音声合成 検索 音声認識 画像認識 性格分析 無し APIのみ

72.

https://youtu.be/aBrsOvZlHZE

73.

Action Now ! https://ibm.biz/BdZVKq 1. IBM Cloudアカウント作成 2. アセット IBM Watson Unity SDKダウンロード アセット VR Watson Speech Sandboxダウンロード 3. IBM Code Patterns GitHubソースコード揃ってます！ https://developer.ibm.com/code/patterns/ https://github.com/ibm/vr-speech-sandbox-cardboard

74.

75.

Thank you! ご静聴ありがとうございました！

76.

https://developer.ibm.com/code /patterns/create-a-virtual-reality-speech-sandbox/ https://github.com/ibm/vr-speech-sandbox-cardboard

77.

Watson Unity SDK: Overview https://youtu.be/Sa5hmukwHV8 Create Voice Commands with Unity and Watson https://youtu.be/OsbV1xqX0hQ

78.

Watson Assistant - Recommendations Tutorial Watson Assistant – Integrations Tutorial https://youtu.be/scMu66AvZtY https://youtu.be/O3silvVBaC8 Watson Assistant - Advanced dialog tutorial https://youtu.be/Z_vmzC0tu60 Watson Assistant – Using Cloud Functions https://youtu.be/y0A6X-KNoB8

79.

http://www.ric.co.jp/book/contents/book_1128.html http://www.ric.co.jp/book/contents/book_1071.html

80.

事例など THINK Watson ht t ps://www.ibm.com/t hink/jp-ja/wats on/