ローカル環境で動く音声対話が できるAI キャラクター作成 for 生成AI新年会2024

4K Views

January 30, 24

スライド概要

profile-image

Unity Engineer: Individual Activities → Making Games

シェア

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

ローカル環境で動く音声対話が できるAI キャラクター作成 2024/01/30 ようさん

4.

uni-llm-voice-chat ● ローカルで動く ● 各機能の入れ替えが可能 ● (処理をサーバーに載せれば)スマホでも動く https://github.com/ayutaz/uni-llm-voice-chat

5.

自己紹介 名前 : ようさん ● Unityエンジニア ○ ゲーム ○ VR/MR ● 生成AI周りを触っています ○ AIキャラクター ○ AI Bot ○ AIイベント (#え~あい部) X(Twitter) @ayousanz 5

8.

目次 1. 作成したものの概要 2. 使用技術の概要と説明 3. まとめ 4. 今後の展望 8

9.

概要 ● 音声入力の検知と音声の文字起こし ● LLMによる返信を作成 ● 作成した返信のボイスを作成

10.

概要

11.

使用技術概要

12.

llama.cppのGPUオフロード GPU : RTX 2070 (GPU RAM 8GB) 比較(ChatGPT) ・ (Azure)gpt-3.5-turbo-1106 7.06ms/token ・(Azure)gpt-4-1106 30.23ms/token 引用 : OpenAI APIとAOAIでのChatGPTの推論速度を比較してみた

13.

今後の展望 ● サンプルLLMのfine-tuning(LoRA)モデルの作成と公開 ● 他の音声合成ライブラリの対応 ● 3Dモデルや2Dモデルの対応

14.

まとめ ● ローカルにすることで自分で調節ができる ● AIと音声対話ができるライブラリを作成・公開 ● ライブラリは今後もアップデート予定