AIアプリのDBはTiDBだけでいい！3種のDBをTiDB1本に

654 Views

September 19, 26

スライド概要

ServerlessDaysTokyoにて発表したスライドです。

最上土川

@mogami

スライド一覧

ゆるふわフルスタックエンジニア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

関連スライド

猫でも分かるUnreal Engineの学び方 - 超初心者向け編 - 2023 v1.0

ue4 ue5 ue-beginner

エピックゲームズジャパン 1.7M

Unreal Engine5 Lumenの仕組みと肝心なところ

ue5 ue-rendering ue-lumen

エピックゲームズジャパン 1.5M

UE5レンダリングフロー総おさらい(2024) 基礎編！[CEDEC+KYUSHU 2024]

ue5 unreal engine ue-rendering

エピックゲームズジャパン 1.4M

Meta XR SDK(V66-74)でQuestアプリを開発

spatial anchor unity quest pro shaperecognizeractivatestate oculus integration transformfeaturestateprovider building blocks transformrecognizeractivestate ovrsemanticclassification jointdeltaprovider ovrscenemanager jointvelocityactivestate オクルージョン sequenceactivestate scene manager ambisonic depth api metaxraudiosource playerlocomotor meta xr sdk quest3 ovrplayercontroller マルチモーダル meta haptics studio direct touch ui meta xr haptics sdk ovrspatialanchor ovrtrackedkeyboard hapticclipplayer fingerfeaturestateprovider hapticclip ワイドモーションモード wmm mruk mr utility kit voice sdk jointrotationactivestate meta horizon os ui set asw application spacewarp ovr metrics tool unityscene manager colocation discovery コロケーション mx ink passthrough camera api hand tracking microgestures webcamtexturemanager passthroughcamerautils cameraviewermanager hand pose selector recorder

あうぜん 1.2M

猫でも分かる UE5.0, 5.1 におけるアニメーションの新機能について【CEDEC+KYUSHU 2022】

ue5 cedec+kyushu ue-animation ue-optimize ue-bp ue-physics ue-sequencer

エピックゲームズジャパン 1M

【DeNA】新卒エンジニア向け会社説明資料

DeNA新卒採用 1M

各ページのテキスト

登壇者紹介土川敦也（つちかわあつや）ハンドルネーム：最上土川株式会社Livetoon 開発マネージャー芝浦工業大学修士2年生 HCI × AIの研究 2020年頃（大1）からスタートアップ界隈で働く 2023年、とある企業でAIキャラクター開発をする 2024年12月にLivetoonへ転職フロントエンドエンジニアで入ったはずが、 Unity、バックエンド、インフラ、AIモデル開発もやっている 2 Livetoon, Inc. all rights reserved

Tataraで話してみるキャラクターとの会話デモ 5

会話の応答には、モデルとデータの両方が必要今回の構成：STT・LLM・TTSを組み合わせる STT Speech to Text LLM Large Language Model テキスト音声を文字へ応答のテキストを生成応答に使う会話を支えるデータテキスト TTS Text to Speech 文字を音声へ会話を残すキャラクター設定会話履歴長期記憶 7 Livetoon, Inc. all rights reserved

過去の情報は、記憶の種類に応じて取り出すセッションメモリの探索と、情報メモリのベクトル検索セッションメモリ • 過去の会話を要約 • 会話セッション単位 • エージェントで探索ユーザー情報メモリ • ユーザーへの理解 • ユーザー情報をまとめる • ベクトルで検索キャラクター情報メモリ • プロンプトを補う設定 • キャラクターを構築 • ベクトルで検索 9 Livetoon, Inc. all rights reserved

10.

kaiwaの初期構成 — AWS内に2種類のDB 自社AWS環境外部マネージドサービスモデル推論環境：ECS ＋ T4 GPU STT kaiwa アプリ Backend API ALB ECS Valkey TTS 記憶のベクトル検索 Aurora PostgreSQL db.t4g.large ／ 2AZ DocumentDB db.r6g.large ／ 2AZ LLM推論 API 10 Livetoon, Inc. all rights reserved

11.

kaiwaの初期は、役割ごとに3種類のDB SQLとNoSQLの良さを組み合わせた構成 Aurora PostgreSQL • ユーザーデータ • キャラクター情報 • プロンプトなど DocumentDB • 会話セッション • 会話履歴 • 会話・記憶データ Qdrant • 記憶のベクトル • 記憶データへの参照 • 類似する記憶の検索 11 Livetoon, Inc. all rights reserved

12.

13.

NewSQLという選択肢 TiDBで、関連するデータを同じ基盤へ 13

14.

15.

16.

MySQL互換で、開発資産を活かせるアプリの構造を活かし、EF Coreの接続プロバイダーを切り替える移行前 TiDBへ移行後 ASP.NET Core アプリケーション ASP.NET Core アプリケーション Entity Framework Core Entity Framework Core PostgreSQL向けプロバイダー MongoDB向けプロバイダー MySQL向けプロバイダー Aurora PostgreSQL DocumentDB TiDB（MySQL互換）保存済みデータの変換・移行は、プロバイダーの切替とは別に実施 Livetoon, Inc. all rights reserved 16

17.

18.

TiDBで、記憶の保存とベクトル検索を扱う保存しておいた記憶を、会話の内容から検索する記憶を保存するとき記憶本文を用意し、埋め込みモデルでベクトルを生成会話から検索するとき今の話題をベクトル化し、関連する記憶を応答に使う本文＋ベクトル TiDB 記憶本文検索用のベクトル本文のベクトル近いベクトルを検索関連する記憶本文本文とベクトルを、同じDBに保存してSQLで扱える Livetoon, Inc. all rights reserved 18

19.

TiDB Cloudで、管理されたDBを使う用途と規模に合わせて、4つのプランから選ぶ基盤の運用を任せ、使い慣れたSQLで接続する TiDB Cloud TiDB Cloud TiDB Cloud TiDB Cloud 無料枠から始める本番向けの基盤大規模・重要な処理専用クラスタを使う • 負荷に応じて拡張 • 高度なセキュリティ • 複数AZで可用性を確保 • 予測しやすい負荷に • 高度な要件に対応 • 構成を選んで運用 Starter • 無料枠を用意 • 利用量に応じた課金 • ゼロまで縮小可能 Essential Preview • 計算資源を自動拡張 • バックアップを用意 • 使用量に応じた課金 Premium Preview 出典：PingCAP公式プラン紹介・配色（2026年9月17日確認） Dedicated 19 Livetoon, Inc. all rights reserved

20.

21.

kaiwaのTiDB移行後 — SQL・会話データを集約 AWS 自社VPC 外部サービスモデル推論環境 ECS ＋ T4 GPU STT kaiwaアプリ TiDB Cloud 管理領域 TTS Backend API ALB 記憶のベクトル検索構造化データ会話・記憶 ECS Valkey プライベート接続 LLM推論 API 21 Livetoon, Inc. all rights reserved

22.

23.

kaiwaの移行手順 — 検証から本番切替まで stgで2週間検証し、直近データを用意してから本番を切り替える 1 stg 2 2週間 3 prod準備 4 切替当日本番に先立ち、検証環境の DBを切り替える stg環境で2週間、問題が起きないか確認する参照されやすいデータを TiDB向けに変換し、本番用DBに事前投入 prod環境のサービスを一時停止し、接続先をTiDB へ変更 stg環境を TiDBへ移行移行漏れ・性能を検証直近データを先に移行一時停止して DBを切り替える 23 Livetoon, Inc. all rights reserved

24.

kaiwaの移行手順 — 運用しながら移行を完了切替後も過去データの移行とクエリ最適化を進めた 5 切替後 6 1週間後 7 2週間後サービスを運用しながら、残る過去データをTiDBへ移す prod環境の移行から1週間後に実施 prod環境の移行から2週間後まで調整を進めた過去データもすべて移行旧DBを削除クエリ最適化をほぼ完了 24 Livetoon, Inc. all rights reserved

25.

DBの集約は、運用コストの削減にもつながった比較する対象は、Aurora PostgreSQL・DocumentDBとTiDB 移行前 • Aurora PostgreSQL：db.t4g.large • DocumentDB：db.r6g.large • 両DBを2AZにまたがって構築移行後 • TiDBの無料枠を活用 • 利用量に応じた費用比較対象にQdrantの費用は含まない 25 Livetoon, Inc. all rights reserved

26.

TataraでTiDB1本に会話データも、ベクトル検索も 26

27.

Tataraの構成 — ベクトル検索までTiDBへ自社AWS環境外部マネージドサービスモデル推論環境：ECS ＋ T4 GPU STT TTS TiDB Cloud データ＋ベクトル検索 Tatara アプリ Backend API ALB ECS LLM推論 API ECS・GPU用ECS・ALB ＋ TiDB Cloud・Cerebrasで構成。 27 Livetoon, Inc. all rights reserved

28.

ベクトル検索は、SQLをコードに直接書く MySQL互換でも、TiDB独自のベクトル型・関数は別対応ユーザー情報・会話履歴 EF Core / LINQ MySQL向けプロバイダーベクトル検索コード内に記述するSQLの例 · SQL 1 SELECT id, content 2 FROM memories 3 ORDER BY VEC_COSINE_DISTANCE( 4 embedding, @query_vector) 5 LIMIT 10; 28 Livetoon, Inc. all rights reserved

29.

10万件のベクトル検索を、東京で比較日本語の疑似記憶10万件 × ruri-v3-70m（384次元）／上位10件近似検索（通信込み）中央値 p50 p95 Recall@10 TiDB Cloud：HNSW 12.91 ms 17.37 ms 93.1% Qdrant：HNSW（ef=64） 7.82 ms 12.62 ms 91.8% Recall@10：全件を正確に検索した上位10件との一致率。初回Mac→東京の記録／各300回・逐次／絞り込みなし・埋め込み生成を除外 TiDB：Starter／Qdrant：c7g.xlarge・4 vCPU / 4 GiB・SSH経由。構成・検索精度に差あり。 Livetoon, Inc. all rights reserved 29

30.

TiDBを用いたシステムのローカル開発環境ローカルで動かすものは、検証したい機能で決まる MySQL互換の機能だけ使う • DockerでMySQLを起動すれば十分 • 一般的なSQL・ORMの開発を進める TiDB固有の機能も使う • ベクトル検索などはTiDBで検証 • TiUPやコンテナ構成で起動 • TiDB・TiKV・TiFlash・PDなどが動く • 複数の構成要素が必要で、開発機には重い 30 Livetoon, Inc. all rights reserved

31.

32.

33.

34.

35.

36.

37.

TiDB Zero：アカウント不要で、実際のDBを試せる TiDB Zero 30日登録・クレジットカード不要試作・検証用の一時DB APIで作成して、SQLですぐ接続 MySQL互換＋ベクトル検索継続利用は、期限内に TiDB Cloudへ引き継ぎ https://zero.tidbcloud.com/ 利用枠・期限あり。継続する場合はアカウントを作成して引き継ぐ。 Livetoon, Inc. all rights reserved 37

https://zero.tidbcloud.com/

38.

39.