Microsoft Foundry Voice Live API プレビュー版を調査した話
>100 Views
March 11, 26
スライド概要
AIミーティング/KANSAI AI PUB（関西×人工知能×場）2026/03/11 #AIMTG(https://deep-learning-osaka.connpass.com/event/384185/)登壇資料
Micosoft FoundryのToolsの１つVoice Live APIのプレビュー版機能を調査した話。
2026-01-01-preview版が公開されており、その機能を紹介。
プレビュー版ではFoundry Agentをツールとして呼出すことが可能になり、より様々なタスクをリアルタイム音声会話により実現できるようになる。
技術解説記事:https://qiita.com/miyaura/items/002997103806f7fa531d
Github:https://github.com/TakahiroMiyaura/VoiceLiveAPISamples/tree/2026-01-01-preview
ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。 社内ではXR関連技術に関する啓もう活動や技術支援に従事。 業務の傍ら、XR（特にMixed Reality領域）についての開発技術の調査、開発などを行っています。 また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。
関連スライド
各ページのテキスト
Microsoft Foundry Voice Live API プレビュー版を調査した話 2026/03 AI ミーティング @takabrz1 Takahiro Miyaura
宮浦 恭弘 (Miyaura Takahiro) Microsoft MVP for Mixed Reality 2018 Microsoft MVP for M365 2025 - 2026 XR は趣味です.AI 系も最近始めました。 - 202 5 大阪駆動開発コミュニティに生息 HoloLens 日本販売してからxR 系技術に取組む 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura https://zenn.dev/miyaura 最近興味があって取り組んでいるもの ○ AndroidXR ○ 新しいガジェット( MiRZA,Galaxy XR,etc …) ○ Microsoft Foundry, 生成AI @takabrz1 ※よかったらこれを機にお知り合いになってください
今回も以前からやっているVoice Live APIネタです プレビュー版が今年に入ってリリースされているのでその紹介 前回のデモ：Unity でVoice Live API 2026/03/11 © 2026 Takahiro Miyaura を使う 3
Microsoft Foundryの話 2026/03/11 © 2026 Takahiro Miyaura 4
Microsoft Foundry The AI app and agent factory Azure 上で提供されるAI エージェントの開発、運用を管理するプラットフォーム Models Agent Service IQ Tools Machine Learning Control Plane Cloud Edge Security, compliance, and governance 引用: Microsoft.Let your agentic apps talk with Azure Speech.Microsoft Ignite 2025.2025,11,p.3.https://ignite.microsoft.com/ en - US/sessions/BRK198, （参照 2026 - 01 - 21 ）.
GA | Announcing new capabilities Voice Live API Voice-enable any agent with advanced, real-time voice GenAI Model choice High quality global locale coverage More engaging with Avatar Easy customization aka.ms/voice-live 引用: Microsoft.Let your agentic apps talk with Azure Speech.Microsoft Ignite 2025.2025,11,p.14.https://ignite.microsoft.com/ en - US/sessions/BRK198, （参照 2026 - 01 - 21 ）.
プレビュー版で色々変わっていた なかなか興味深い 2026/03/11 © 2026 Takahiro Miyaura 7
追加された機能 バージョン指定：2026 - 01 - 01 - preview この機能がポイント 機能 概要 Foundry Agent Tool AI モデルがFoundry Agent Filler Response ツール呼び出し待機中に自動でつなぎ応答を生成 Echo Cancellation サーバーサイドでエコー除去（クライアント処理不要） Noise Reduction Azure Deep Noise Suppression Echo Cancellation / Noise Reduction をツールとして呼び出す で環境ノイズ抑制 は設定1⾏で有効化できる⼿軽さが魅⼒ { "input_audio_echo_cancellation": { "type": "server_echo_cancellation" }, "input_audio_noise_reduction": { "type": "azure_deep_noise_suppression" } } 2026/03/11 © 2026 Takahiro Miyaura 8
アーキテクチャが変わるといってもいいかも？ 日常対話はリアルタイムモデル、複雑タスクはFoundry Agent に委任 GA版: 1 対1の対話 リアルタイムAI モデル 基本対話を担当 ○ AI モデル、エージェントが生成AI として回答と音声応答を実施 ユーザ 音声 Voice Live API AI モデル Or Agent プレビュー版: チャットスーパーバイザーパターン ○ 音声応答と基本的な対話を担当するAI モデルが回答と音声応答を実施 ○ 上記に加えて状況に応じてツールとしてFoundry Agent を呼出 音声 ユーザ 2026/03/11 Voice Live API 音声応答 リアルタイムAI モデル 基本対話を担当 © 2026 Takahiro Miyaura ツール呼出 Foundry Agent 応答 9
デモ 2026/03/11 © 2026 Takahiro Miyaura 10
デモ： Voice Live API + Foundry Agent Tool ◆ 実⾏環境 ○ サンプルアプリ: VoiceLiveConsoleApp （C# / .NET 8.0 ○ Voice Live API: 2026 - 01 - 01 - preview ◆ 主な機能 ○ 基本的な質問 → リアルタイムモデルが即座に応答 ○ 専⾨的な質問 → Foundry Agent がツール呼び出しされる ○ Filler Response → 待機中に「確認しますね」等の応答 2026/03/11 © 2026 Takahiro Miyaura 11
デモ 今日はライブデモ 2026/03/11 © 2026 Takahiro Miyaura 12
Foundry Agent Tool AIモデルがFoundry Agentをツールとして呼出す設定 2026/03/11 © 2026 Takahiro Miyaura 13
Foundry Agent Tool の定義
ツールとして foundry_agent
タイプを指定するだけ
C# コード
送信されるJSON
var foundryTool = new FoundryAgentTool
{
AgentName = "my-rag-agent",
ProjectName = "my-foundry-project",
Description = "社内ナレッジ検索"
};
if (!string.IsNullOrEmpty(foundryAgentVersion))
{
foundryTool.AgentVersion = foundryAgentVersion;
}
{
options.Tools = new RealtimeTool[] { foundryTool };
options.ToolChoice = "auto";
T oolChoice = "auto"
で
AI モデルが呼び出しを自動判断
2026/03/11
"type": "foundry_agent",
"agent_name": "my-rag-agent",
"project_name": "my-foundry-project",
"description": "社内ナレッジ検索"
}
© 2026 Takahiro Miyaura
14
サーバイベントフロー Foundry Agent 2026/03/11 の呼び出しは⾮同期。5つのイベントで進捗を追跡 © 2026 Takahiro Miyaura 15
Filler Response 待機中の沈黙を解消 2026/03/11 © 2026 Takahiro Miyaura 16
Filler Response
処理中であることを明確にするための仕組み
Foundry Agent
の処理順
静的フィラー
LLMフィラー
事前定義テキストからランダム選択
options.FillerResponse
= new
BasicFillerResponseConfig
{
Texts = new[]
{
" 少々お待ちください。" ,
" 確認しますね。" ,
" ちょっと調べますね。" ,
" はい、少しお待ちくださいね。"
},
Triggers = new[] {
"latency", "tool"
LatencyThresholdMs = 2000
};
2026/03/11
コンテキストに応じた動的生成
options.FillerResponse
= new
LlmFillerResponseConfig
{
Model = "gpt - 4.1 - mini" ,
Instructions =
" 短いつなぎ言葉を日本語で生成" ,
MaxCompletionTokens
= 50 ,
Triggers = new[] {
"latency"
, "tool"
},
LatencyThresholdMs =
2000
};
},
© 2026 Takahiro Miyaura
17
まとめ Microsoft Foundry のVoice Live API のPreview 版調査 正式に採用されると・・・ Voice Live API が「音声応答の仕組み」から 「エージェントオーケストレーション基盤」へ進化しそうで楽しみ ○ Foundry Agent Tool ○ Filler Response ○ Echo Cancellation ○ Noise Reduction 2026/03/11 : AI モデルがFoundry Agent を ツールとして 呼び出す : ツール呼び出し待機中に自動でつなぎ応答を生成 : サーバーサイドでエコー除去（クライアント処理不要） : Azure Deep Noise Suppression で環境ノイズ抑制 © 2026 Takahiro Miyaura 18
Qiita記事を書きました Voice Live API プレビュー版（2026-01-01-preview）の新 機能を試す ― Foundry Agent Tool / Filler Resp 2026/03/11 © 2026 Takahiro Miyaura 19
Githubのサンプルもあります！ VoiceLiveAPISamples ○ https://github.com/TakahiroMiyaura/VoiceLiveAPISamples/tree/2026-01-01-preview 主にVoice Live API を 直接使ったサンプルとして提供 ※SDK も提供されているので必ずしもAPI で作らなくて も大丈夫ですよ！ 2026/03/11 © 2026 Takahiro Miyaura 20
大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ