【Unite Tokyo 2018】XR x AI Watsonで もっと拡がるUnity開発

-- Views

May 10, 18

スライド概要

講演者:佐々木 シモン(IBM)

こんな人におすすめ
・AIを活用した開発に関心のあるUnityエンジニアやデベロッパー
・アセットIBM Watson Unity SDKの使い方を知りたい方
・なるべくコストをかけずAIを使ってみたい学生

受講者が得られる知見
・アセットIBM Watson Unity SDKの使い方
・Unityで音声認識や画像認識をアプリに実装する方法
・Unityで会話からユーザーの意図(喜怒哀楽など)を理解させる方法

profile-image

リアルタイム3Dコンテンツを制作・運用するための世界的にリードするプラットフォームである「Unity」の日本国内における販売、サポート、コミュニティ活動、研究開発、教育支援を行っています。ゲーム開発者からアーティスト、建築家、自動車デザイナー、映画製作者など、さまざまなクリエイターがUnityを使い想像力を発揮しています。

シェア

埋め込む »CMSなどでJSが使えない場合

各ページのテキスト
1.

2018/5/7-9 XR x AI Watsonで もっと拡がるUnity開発 Augment your Unity apps with XR x AI Watson 佐々木 シモン Simon Sasaki IBM / Developer Advocate

2.

佐々木 シモン Simon Sasaki IBM / Developer Advocate 元フロントエンドエンジニアでXR大好き人間。現在の専門 はマネージドAI技術(IBM Watson Developer Cloud)を 中心にハイエンドVR/AR/MRに関心が高い。 IBM社内では量子コンピューター技術コミュニティーに属し ており、社外ではAIコミュニティー「水曜ワトソンカフェ」の モデレーターを務める。 @simonTokyo simontokyo simon3@jp.ibm.com

3.

Agenda •XR x AI •Asset Watson Unity SDK Asset VR Watson Speech Sandbox •Watson API on IBM Cloud •Unity SDKで使えるWatson API 紹介 •(参考)ハマりどころ •Online YouTube resources for Watson Unity SDK

4.

XR x AI Unity x IBM Watson

5.

XR開発におけるUnityシェア https://youtu.be/cmRSkHl-Gv0

6.

Star Trek: Bridge Crew https://youtu.be/KSqhXI4ilxM

7.

HTC Vive Oculus Rift PlayStation VR

8.

アセットWatson Unity SDK アセットVR Watson Speech Sandbox

9.

https://assetstore.unity.com/ibm

11.

「WatsonをUnityで使ってみた」反響はBlogやYouTubeに

12.

https://youtu.be/NoO2R3Pz5Go

14.

Unite Tokyo 2018 バーチャルYouTuber電脳少女シ ロがご紹介する「2018年の注目アセット100連発」 “100 Mus t -see As s et s for 2018” by Virt ual YouTuber, Cyber Girl Siro https://youtu.be/2tOoN_uMVt0?t=4m7s https://youtu.be/2tOoN_uMVt0?t=14m20s https://youtu.be/KYnCTlmVqMU?t=3m57s https://youtu.be/KYnCTlmVqMU?t=13m38s

15.

Watson API on IBM Cloud

17.

https://youtu.be/Wq0XnBYC3nQ

19.

Watson Developer Cloud - 参考価格と月間無料枠 10,000 API 無料 ¥0.26 30,000 items 無料 ¥0.3 CO NVERSAT I O N NAT URAL L ANG UAG E UNDERST ANDI NG 100分間 1万文字無料 ¥2/分 ¥2/千文字 TEXT TO SPEECH 7,500 API 無料 ¥0.2 1,000 API 無料 ¥1〜2

20.

Watson Unity SDKで開発するまでの大まかな流れ IBM Cloud アカウント作成 Watson API キー取得 Watson Unity SDK Unityアプリ開発 Watson API Explorer Watsonの カスタマイズ

21.

IBM Cloudアカウントの作成手順

22.

https://ibm.biz/BdZVKq

23.

*******

24.

https://ibm.biz/BdZVK

25.

Log in > Catalog - https://bluemix.net

26.

“ クレジットカードさえ持たずに 気軽にAI開発を始める No Credit Card required ”

27.

Watson Unity SDKで開発するまでの大まかな流れ IBM Cloud アカウント作成 Watson API キー取得 Watson Unity SDK Unityアプリ開発 Watson API Explorer Watsonの カスタマイズ

28.

Unity SDKで使える Watson API 紹介

30.

Demo

31.

Watson Unity SDK - Asset > Watson > Scripts > Services

32.

Watson Developer Cloud – AI : Augmented Intelligence ,NOT Artificial Intelligence! VI SUAL CO NVERSAT I O N Discovery L ANG UAG E CL ASSI F I ER PERSO NAL I T Y T O NE ANAL YZ ER Empathy Vision MACHI NE TEXT TO I NSI G HT S NAT URAL L ANG UAG E UNDERST ANDI NG DI SCO VERY Assistant NAT URAL RECO G NI T I O N L EARNI NG KNO W L EDG E Speech & Language SPEECH SPEECH TO TEXT L ANG UAG E T RANSL AT O R VI RT UAL REAL I T Y ST UDI O

33.

Text to Speech(しゃべる)- Speech to Text(聞く)

34.

Text to Speech(しゃべる)- Speech to Text(聞く)

35.

SSML(音声合成マークアップ言語)対応 <p><s>AIとは何か。「AI」という言葉は、一般的には人工知能 (Artificial Intelligence)の略だと定義されているが、IBMでは人 間の知識を拡張・増強するもの(Augmented Intelligence)だと考 えている。<break time="1000ms"/>つまり「AIとは人間にとって変 わるもの」ではなく<prosody rate="-10%">「AIとは人間の知識 や、持てる知見などを拡張し、増強するもの」</prosody>だと捉え ている。</s></p> • Google AssistantやAmazon Alexaで開発するのと同様のイメージ

36.

https://youtu.be/fOfFrGsNwHo

37.

Natural Language Understanding (言ってることを理解する) joy sadness fear anger disgust

38.

Personality Insights(ユーザーの個性を理解する) https://personality-insights-demo.ng.bluemix.net

39.

Visual Recognition(見えた物を理解する)

40.

Visual Recognition(見えた物を理解する) https://developer.apple.com/ibm/

41.

Watson Assistant (Conversation) (対話する)

42.

Demo

43.

Discovery(分類する、記憶する、検索する)

44.

Watson Developer Cloud – AI : Augmented Intelligence ,NOT Artificial Intelligence! VI SUAL CO NVERSAT I O N Discovery L ANG UAG E CL ASSI F I ER PERSO NAL I T Y T O NE ANAL YZ ER Empathy Vision MACHI NE TEXT TO I NSI G HT S NAT URAL L ANG UAG E UNDERST ANDI NG DI SCO VERY Assistant NAT URAL RECO G NI T I O N L EARNI NG KNO W L EDG E Speech & Language SPEECH SPEECH TO TEXT L ANG UAG E T RANSL AT O R VI RT UAL REAL I T Y ST UDI O

45.

“ ” Watson Unity SDK使ってみたくなりましたか?

46.

(参考) ハマりどころ Watson Unity SDK - Script & Examples

47.

(参考) ハマりどころ Watson Unity SDK Config Editor 2017 v0.13 2018 v2.2

48.

(参考) ハマりどころ Watson Developer Cloud - Past & Now 2015 2018 http://www.redbooks.ibm.com/Redbooks.nsf/RedbookAbstracts/sg248387.html

49.

(参考) ハマりどころ Watson Developer Cloud - Past & Now 2015 2018 http://www.redbooks.ibm.com/Redbooks.nsf/RedbookAbstracts/sg248387.html

50.

アセットVR Watson Speech Sandbox

51.

Watson Unity SDKで開発するまでの大まかな流れ IBM Cloud アカウント作成 Watson API キー取得 Watson Unity SDK Unityアプリ開発 Watson API Explorer Watsonの カスタマイズ

53.

https://developer.ibm.com/code /patterns/create-a-virtual-reality-speech-sandbox/ https://github.com/ibm/vr-speech-sandbox-cardboard

54.

Demo

55.

Watson APIキー(Credential)の発行

56.

Watson Unity SDKで開発するまでの大まかな流れ IBM Cloud アカウント作成 Watson API キー取得 Watson Unity SDK Unityアプリ開発 Watson API Explorer Watsonの カスタマイズ

57.

Log in > Catalog > Watson - https://bluemix.net

58.

Watson > Services name Create (e.g. Text to Speech) > Scroll down >

59.

Manage > Credentials

60.

“ 一度作成した後、再確認する場合 ”

61.

Dashboard

62.

Dashboard > Services name (e.g. Speech to Text-he)

63.

Manage > Credentials

64.

API Explorerによる単体テスト

65.

Watson Unity SDKで開発するまでの大まかな流れ IBM Cloud アカウント作成 Watson API キー取得 Watson Unity SDK Unityアプリ開発 Watson API Explorer Watsonの カスタマイズ

66.

https://watson-api-explorer.mybluemix.net

67.

Demo

68.

Watson Assistant (Conversation)による 対話単体テストとリアルタイム学習

69.

Watson Assistant (Conversation)による対話テスト

70.

まずUnityで使える主要なWatson API まとめ Watson Assistant チャット対話開発 Discovery/NLU 文書の理解/検索 STT/TTS 音声合成/音声認識 Visual Recognition 画像判別 CO NVERSAT I O N NAT URAL L ANG UAG E UNDERST ANDI NG TEXT TO SPEECH Personality Insights ユーザー性格分析

71.

まずUnityで使える主要なWatson API まとめ Assistant Discovery NLU STT/TTS Visual Personalit Recogniti y Insights on 管理 ツール 有り 有り 無し APIのみ 有り 無し APIのみ 備考 対話開発 文書の理解 文書の理解 音声合成 検索 音声認識 画像認識 性格分析 無し APIのみ

72.

https://youtu.be/aBrsOvZlHZE

73.

Action Now ! https://ibm.biz/BdZVKq 1. IBM Cloudアカウント作成 2. アセット IBM Watson Unity SDKダウンロード アセット VR Watson Speech Sandboxダウンロード 3. IBM Code Patterns GitHubソースコード揃ってます! https://developer.ibm.com/code/patterns/ https://github.com/ibm/vr-speech-sandbox-cardboard

75.

Thank you! ご静聴ありがとうございました!

76.

https://developer.ibm.com/code /patterns/create-a-virtual-reality-speech-sandbox/ https://github.com/ibm/vr-speech-sandbox-cardboard

77.

Watson Unity SDK: Overview https://youtu.be/Sa5hmukwHV8 Create Voice Commands with Unity and Watson https://youtu.be/OsbV1xqX0hQ

78.

Watson Assistant - Recommendations Tutorial Watson Assistant – Integrations Tutorial https://youtu.be/scMu66AvZtY https://youtu.be/O3silvVBaC8 Watson Assistant - Advanced dialog tutorial https://youtu.be/Z_vmzC0tu60 Watson Assistant – Using Cloud Functions https://youtu.be/y0A6X-KNoB8

79.

http://www.ric.co.jp/book/contents/book_1128.html http://www.ric.co.jp/book/contents/book_1071.html

80.

事例など THINK Watson ht t ps://www.ibm.com/t hink/jp-ja/wats on/