【Unite Tokyo 2019】中の人がいない！？ 音声対話型AIサービスを使ったバーチャルキャラクターの作り方
1.1K Views
September 25, 19
スライド概要
2019/9/25-6に開催されたUnite Tokyo 2019の講演スライドです。
秋永 和計（株式会社NTTドコモ）
尾崎 竜二（だるまジャパン合同会社）
北川 正義（だるまジャパン合同会社）
AI セバスちゃん（無所属）
こんな人におすすめ
・音声対話アプリケーションを作ってみたい方
・動画だけではない体験型コンテンツに興味のある方
・声だけの対話じゃ満足できない方
受講者が得られる知見
・Unityと音声対話エンジンの連携
・キャラクターを使った対話アプリの作り方
・「中の人がいない」バーチャルキャラクターの作り方
Unityのイベント資料はこちらから：
https://www.slideshare.net/UnityTechnologiesJapan/clipboards
リアルタイム3Dコンテンツを制作・運用するための世界的にリードするプラットフォームである「Unity」の日本国内における販売、サポート、コミュニティ活動、研究開発、教育支援を行っています。ゲーム開発者からアーティスト、建築家、自動車デザイナー、映画製作者など、さまざまなクリエイターがUnityを使い想像力を発揮しています。
関連スライド
各ページのテキスト
中の人がいない！？ 音声対話型AIサービスを使った バーチャルキャラクターの作り方 株式会社N T T ドコモ 秋永 和計 だるまジャパン合同会社 尾崎 竜二 北川 正義 A I セバスちゃん
2 What is AI agent API? 対話型AIサービスの 実装を可能とする クラウド型の基盤サービス
NTTドコモの自然対話エンジン ドコモ AIエージェントAPI my daiz OHaNAS 2018年5月30日～ おしゃべりロボット for Biz ATOMプロジェクト 2016年5月27日～ 自然対話プラットフォーム 2015年6月4日～ しゃべってコンシェル 2012年3月1日～ 様々な 法人顧客への提供実績 累計21.8億件以上の発話ログの蓄積による 対話性能の向上 様々なデバイスへの 適用ノウハウ スマホ・タブレットでの 自然な対話
“あらゆるモノに対話型AIサービスを提供したい” 例えば、机が今日の 予定や、自分の 鍵の場所を 教えてくれたり・・・ 例えば、投入された 洗濯物に最適な 洗濯方法を 相談できたり・・・ 例えば、冷蔵庫の 中身に合わせて 今日の献立を 相談できたり・・・
ドコモのAIエージェントの心臓部 各種デバイス Android 音声 Device SDK iOS Web メタデータ テキスト 多目的対話 エンジン “Speak” 音声認識(ASR) 自然言語処理(NLU) 音声合成(TTS) サービス実装 REST Call Response Webサーバー上 に自由に実装
AIエージェントAPIの特徴 音声対話に関する システムを ワンパッケージで提供 xAIMLを使った 自由な対話記述 表現力豊かな 音声合成
中の人がいない バーチャルキャラクターの話
8
AIセバスちゃん 大きな赤いリボンが特徴的 な、おっちょこちょいでがん ばり屋さんのAI。 音声認識技術、自然言語処 理、音声合成技術を活用して いるので、中の人はいませ ん。ホントだよ。
音声対話 ＋ VR
VR握手会
12
VR握手会 – VRの体験設計 – 展示会やイベントでの 音声対話のデモとして製作 体験者がVR初体験であると想定
VR握手会 – VRの体験設計 – — 酔わないこと ← — 操作が簡単であること — – 右手のみ – ボタン操作等無し – 動き回らない – チュートリアル無し 超重要！！！！！！！！！！！ 体験時間が短いこと
VR握手会 – 音声対話の体験設計 – 電気つけて 点灯 人がAIに指示をして操作する
VR握手会 – 音声対話の体験設計 – 太郎です 名前教えて AIが人の発話を誘導する
DOCOMO Open House 2018 ニコニコ超会議2019
魂の話
① 対話内容 ② 声の感情表現
対話内容 — 会話の中から名前や場所を抽出 — 発話内容は人間が考えている — １３００人分のログを解析 — 頻出ワードなどマッチ
対話内容 — 会話の中から名前や場所を抽出 — 発話内容は人間が考えている — １３００人分のログを解析 — 頻出ワードなどマッチ 人間が学習させる
声の特徴から非言語情報認識 – RexSense – — 男性 / 女性 / 子供 – VR握手会では男女でシナリオを分岐 — 感情認識 （喜 / 怒 / 悲 / 平静） — 意図認識 (疑問 / 平叙)
声の感情表現
ツンデレ
やりましょう ドコモ秋永さん
声の感情表現 – ツンデレ – — ツンデレフレーズを収録して学習データ — つっかえ表現 – べ、べつに、あんたのためにやったんじゃないんだからね！ — バカのバリエーション (１０種類以上) — 咳、くしゃみ、笑い、泣き
デモ
中の人がいなくても 魂は込めてます
ドコモAIエージェントAPI Unity SDK の 使い方 29
音声操作で Cube を 回そう！
Unityプロジェクトの作成
Unity SDK （.unitypackage）の インポート プロジェクト名：AIAG_CubeSample
Unity SDK （.unitypackage）の インポート
ビルド設定
mainシーンを開く
実行
AIエージェントの作成
Agentcraft 音声対話シナリオを 作成するツール GUIで直感的に 作成可能
エージェントの作成 エージェント名： UnityCubeSample
デバイスIDの発行と登録
デバイスID の 発行
デバイスID の 登録 User Dashboard（UDS）
デバイスID の 登録
音声対話
どんな発話 内容でも 「ようこそ」と 返答する
音声対話シナリオ編集
回れ 回ります
JSON で 連携
＜コマンド＞で Unity と連携 コマンドに設定した JSON項目 を Unity SDK に送るこ とができる { } “rotate” : “on”
”rotate” : “on” onMetaOut 関数 で JSON項目を 受け取ることができる
“とまれ”を音声対話に追加 { } “rotate” : “off”
シーン に Cube を 追加
サンプルコード
example.cs を 編集
Cube を 回転させるコード
JSON を 受け取りパースするコード
JSON を 受け取りパースするコード
実行！
声の変更 50種類以上 の声が選択可能
UnitySDKβ版 & マニュアル https://docs.sebastien.ai/step4/agentcraft-howtouse/
バーチャル登壇 67
バーチャル登壇構成 OBS 字幕 NDI®送信 ドコモAIエージェントAPI Unity製LiveTool （KlakNDI） Luppet 音声合成 ライン入力 音声合成 字幕生成
69
Magic Leapとは? Magic Leap One は、デジタル と実世界、つまり身の回りのもの や、あなたの周りの人々をもシー ムレスに溶け込ませる事の出来 る、非常に軽いウェアラブルコン ピュータです。小さな箱の中を覗 き込む代わりに・・・ 70
Key Product Features LRA Haptic Device 6DoF Tracking 12-LED (RGB) ring with diffuser Built-in rechargeable lithium-ion battery (control) NVIDIA® Parker SOC 8 GB RAM, 128 GB Storage Capacity Dedicated computer vision processor CPU: 2 Denver 2.0 64b cores + 4 ARM Cortex A57 64b cores Integrated Spatial Audio Eye tracking + Sensor Suite Biometric ID Picture Camera 71 Voice Recognition/Detection Bluetooth 4.0 WiFi 802.11ac/b/g/n, USB-C Built-in rechargeable lithium-ion battery (wearable)
1F パンセにてデモ実演中。是非お立ち寄りください！ 72