20251129_リアルタイム音声モデルgpt-realtimeを使った音声対話ツール

リアルタイム音声モデル gpt-realtime を使った音声対話エージェント 2025/11/29 JAZUG shizuoka しろくま KINTOテクノロジーズ：Hiroki, Nomura

プロフィール しろくま 愛知県在住のエンジニアです。 技術関係のブログを書いたり、登壇したりしています。 所属：AzPoC部 #AzPoC なごあず #75azu Solution Architect AI Engineer Developer Administrator Network Engineer

モチベーション 生成AIのマルチモーダル性にずっと期待している • テキスト • 音声 • 画像 • 動画 最近の生成AIのマルチモーダル性能が著しい • 音声：リアルタイム性、自然な日本語、ツール呼び出し • 画像：NanoBananaProが怖い • 動画：NotebookLMの動画生成のQualityが怖い

モチベーション たまたま家族がコールセンターに近いところで働いている。 コールセンターのAIエージェント化、どこまでできるんだろう？

従来の音声アシスタントの課題

想定シーン 電気料金プラン、ほかに安くなるプランあるのかなぁ？

どんなAIエージェント？ お客様情報照合 請求履歴取得 gpt-realtimeモデル 今月の使用量取得 指示文 電力会社のカスタマーサポートセンターのオペレーターです。 # プラン変更時のルール - お客様が求めていることに対する結論を最初に伝えること。 - 必ずプラン変更シミュレーションでシミュレーション結果を説 明してから変更手続きに進む - 最低契約期間や解約手数料がある場合は必ず説明する - お客様の同意確認を取ってからプラン変更申請を実行する 各ツールの説明 - ツールの説明 - 引数の説明 契約可能プラン一覧 プラン変更シミュレーション プラン変更申請＋メール送信

Demoのシナリオ 安くなるプランありますか？ その前に本人確認するで ﾉﾑﾗﾋﾛｷで電話番号は…. 能動的にツール呼び出し あかんで。ニセモノやあんた or OK。プランはXXXやな お客様情報照合

Demoのシナリオ ほかにどんなプランがあるっけ？ 能動的にツール呼び出し 契約可能プラン一覧 プランはXX, YY, ZZがあるで 安くなるのはどれ？ 能動的にツール呼び出し 今月の使用量取得 プラン変更シミュレーション

Demoのシナリオ XXプランでYY円安くなるで。 でも注意点もある。・・・ 同意するかい？ OK。XXプランにしてくれ。 能動的にツール呼び出し 変更手続きしといたで。 変更内容とこの会話をメール送ったから 確認しとき。 プラン変更申請＋メール送信

デモ

リアルタイム性はあるものの、 人間らしい”間”の取り方などは違和感が残る 音声対話エージェントが必要な場面の見極めが必要。 音声だけだと、利用者も運用者も可観測性が低い。 音声対話後のフォローや、 リアルタイムに視覚的な描画がされるような デバイスがあるといい。

人とAIの協働も必要。 何をAIに任せるのかの見極めも必須。 →まずやるべきなのは、 ツールありきのツール検証ではなく業務設計

なごあずの集い#7 2025/12/06(土) Agent Frameworkを利用した、 Foundry LocalとMicrosoft Foundryのハイブリッドエージェント

Thank you !