音声対話モデル2025-26

文献報告 音声対話モデル 2026/01/19 対話班 M1 阿部 雄斗

音声対話 API が2025年出現＆進化 Realtime API Grok Voice Agent API Gemini 2.5 Flash Live API Amazon Nova 2 Sonic(英語のみ)

• https://platform.openai.com/docs/guides/realtime
• https://x.ai/news/grok-voice-agent-api
• https://docs.cloud.google.com/vertex-ai/generative-ai/docs/models/gemini/2-5-flash-live-api?hl=ja
• https://aws.amazon.com/jp/blogs/news/introducing-amazon-nova-2-sonic-next-generation-speech-to-speech-model-for-conversational-ai/

音声対話をメインに扱うSaaSの会社も増加 IVRy amptalk PKSHA Omakase ai 3

• https://amptalk.co.jp/
• https://ivry.jp/
• https://www.google.com/aclk?sa=L&pf=1&ai=DChsSEwiD5o7FnsyRAxVnlrkFHWmvMZcYACICCAEQABoCdG0&co=1&ase=2&gclid=Cj0KCQiAr5nKBhCpARIsACa_NiOAP3fZ8vQZVdq-JPMMVgXtE5aA4adw2XoFXzYI_8D0h3byJmRv3bAaAvDQEALw_wcB&ei=HKBGaa_TOf_n2roP5seXyA4&cid=CAASuwHkaJPDaAQ5-d0O-WDVpka54wD0A_pzCE0cfxSK_FTpCSgSZp7V7kcln2XR-SVQyGYxphlS4ZJXhXOZGZ88xvVoWzK9i9onuMYdbx44Js3pp1iWTfL4538lhS8XJXuWOfrwidJJUbXKhirFM6klcp2bZ6lQfvd82ISci_gXxK5f9wn6sydk0ivER1jUOjF1N54ZEaTren6faf-u6obLhjFAwhtMWIkBGVi-zPv1TFl_CLxvudenpXxHCM3j&cce=2&category=acrcp_v1_32&sig=AOD64_3uGc-83ttN38fGPvQZnsG30fLIIg&q&sqi=2&nis=4&adurl=https://aisaas.pkshatech.com/speechinsight/?utm_term=pksha%20speech%20insight&utm_campaign=S01_SI_%E6%8C%87%E5%90%8D&utm_source=adwords&utm_medium=ppc&hsa_acc=3508895395&hsa_cam=20650282287&hsa_grp=160278552611&hsa_ad=746774477471&hsa_src=g&hsa_tgt=aud-2226187572705:kwd-2176114291655&hsa_kw=pksha%20speech%20insight&hsa_mt=e&hsa_net=adwords&hsa_ver=3&gad_source=1&gad_campaignid=20650282287&gbraid=0AAAAAoZCjIiZ-YhDM6F9CQriykfBsAf29&gclid=Cj0KCQiAr5nKBhCpARIsACa_NiOAP3fZ8vQZVdq-JPMMVgXtE5aA4adw2XoFXzYI_8D0h3byJmRv3bAaAvDQEALw_wcB&ved=2ahUKEwiv0YbFnsyRAxX_s1YBHebjBekQ0Qx6BAgMEAE
• https://www.omakase.ai/jp?utm_source=cpc&utm_medium=gss&utm_campaign=jptop&utm_source=google&utm_source_platform=Google Ads&utm_medium=cpc&utm_campaign=指名系&utm_id=22347797934&gad_source=1&gad_campaignid=22347797934&gbraid=0AAAAA_F5-JEWROFyE3xg4l6OOCZYGMFND&gclid=Cj0KCQiAyP3KBhD9ARIsAAJLnnbFxIb-YhFU9zNPvbG1l5Qs5FoH637iiy9_1U16DHKo64CV2N6Lt-4aAuJJEALw_wcB

音声対話モデルの研究 • カスケード型 ：音声→ASR→テキスト→LLM→テキスト→TTS→音声 • GPT-Realtimeをはじめ，多くが社会実装され，かなり実用的． • 特徴：音声はテキスト化されたのち，処理されている． • 応用研究寄り：対話戦略を柔軟に組み込める ➡ そこに工夫の余地がある． • フルデュプレックス型 ：音声→ALLM→音声 • 音声を完全にテキストにすることなく，中間状態でLLMに理解させるという取り組み． • 例：dGSLM，Moshi，SyncLLM，SALMON-omni，OmniFlatten，SALM-Duplex… • メリット • 音声をテキストに変えることによる情報消失を防げる． • 完全なテキスト化は行わないので，レイテンシが低い． • デメリット • 音声とテキストのアライメント問題を解決しているものはあまりなく， LLMの忘却が大きい． • 基礎研究寄り：LLMの忘却をどう抑えるか．& どう制御するか． 4

• https://arxiv.org/pdf/2410.17799v1
• https://arxiv.org/pdf/2505.15670

目次 1. フルデュプレックスモデルの基本構造 • WavChat ：サーベイ論文 • 音学シンポジウム2025の小松さんの資料 2. フルデュプレックスモデルの具体例 • OmniFlatten • SALM-Duplex ：10分 ：10分 3. フルデュプレックスモデルの評価はどうあるべきか ：10分 • FD-Bench • Full-Duplex-Bench-v2 • (Full-Duplex-Bench, GPT-Realtime を測る指標) 4. 最新動向 ：10分 • Sakana AIの Speech-to-Speech モデル(KAME)：Fast-and-Slow の考えを体現 5

• https://github.com/ryota-komatsu/slp2025/blob/main/slp2025-tutorial.pdf
• https://arxiv.org/pdf/2503.04721
• https://www.ai-shift.co.jp/techblog/6429

WavChat : A Survey of Spoken Dialogue Models Shengpeng Ji¹ Yifu Chen¹ Minghui Fang¹ Jialong Zoo¹ Jingyu Lu¹ Hanting Wang¹ Ziyue Jiang¹ Long Zhou² Shujie Liu² Xize Cheng¹ Xiaoda Yang¹ Zehan Wang¹ Qian Yang¹ Jian Li⁴ Yidi Jiang³ Jingzhen He² Yunfei Chu² Jin Xu² Zhou Zhao¹ ¹ Zhejiang University ² Microsoft ³ Alibaba Group ⁴ Tencent YouYu Lab 2024/11 6

• https://arxiv.org/abs/2411.13577

WavChat : A Survey of Spoken Dialogue Models 出典：https://arxiv.org/pdf/2411.13577 7

• https://arxiv.org/abs/2411.13577
• https://arxiv.org/pdf/2411.13577

WavChat : A Survey of Spoken Dialogue Models (a) LTU-AS Qwen-Audio1,2 SALMON ParalinGPT (b) Speech-GPT EMOVA GLM-4-Voice (c) SpiritLM USDM (d) PSLM Llama-Omni Moshi Mini-Omni (e) SyncLLM IntrinsicVoice Align-SLM Twist 出典：https://arxiv.org/pdf/2411.13577 8

• https://arxiv.org/abs/2411.13577
• https://arxiv.org/pdf/2411.13577

WavChat : A Survey of Spoken Dialogue Models Moshi のように，テキストと音声を時間方向上に並行に並べ る場合に，音声トークンとテキストトークンをどうアライメントを とるかという話．：TASLA(2025/10) 出典：https://arxiv.org/pdf/2411.13577 9

• https://arxiv.org/abs/2411.13577
• https://arxiv.org/pdf/2411.13577

WavChat : A Survey of Spoken Dialogue Models 出典：https://arxiv.org/pdf/2411.13577 10

• https://arxiv.org/abs/2411.13577
• https://arxiv.org/pdf/2411.13577

WavChat : A Survey of Spoken Dialogue Models 強化学習が有効という話．：Omni-R1(2025/06) 出典：https://arxiv.org/pdf/2411.13577 11

• https://arxiv.org/abs/2411.13577
• https://arxiv.org/pdf/2411.13577

出典：https://github.com/ryota-komatsu/slp2025/blob/main/slp2025-tutorial.pdf 2025/6/13 12

• https://github.com/ryota-komatsu/slp2025/blob/main/slp2025-tutorial.pdf

出典：https://github.com/ryota-komatsu/slp2025/blob/main/slp2025-tutorial.pdf 13

• https://github.com/ryota-komatsu/slp2025/blob/main/slp2025-tutorial.pdf

出典：https://github.com/ryota-komatsu/slp2025/blob/main/slp2025-tutorial.pdf 14

• https://github.com/ryota-komatsu/slp2025/blob/main/slp2025-tutorial.pdf

目次 1. フルデュプレックスモデルの基本構造 • WavChat ：サーベイ論文 • 音学シンポジウム2025の小松さんの資料 2. フルデュプレックスモデルの具体例 • OmniFlatten • SALM-Duplex ：10分 ：10分 3. フルデュプレックスモデルの評価はどうあるべきか ：10分 • FD-Bench • Full-Duplex-Bench-v2 • (Full-Duplex-Bench, GPT-Realtime を測る指標) 4. 最新動向 ：10分 • Sakana AIの Speech-to-Speech モデル(KAME)：Fast-and-Slow の考えを体現 15

• https://github.com/ryota-komatsu/slp2025/blob/main/slp2025-tutorial.pdf
• https://arxiv.org/pdf/2503.04721
• https://www.ai-shift.co.jp/techblog/6429

https://omniflatten.github.io/ OmniFlatten: An End-to-end GPT Model for Seamless Voice Conversation Qinglin Zhang, Luyao Cheng, Chong Deng, Qian Chen, Wen Wang, Siqi Zheng, Jiaqing Liu, Hai Yu, Chaohong Tan Tongyi Lab ACL 2025 16

• https://aclanthology.org/2025.acl-long.709.pdf
• https://omniflatten.github.io/

概要 • • • • • • Qwen2-0.5B をFine-tuning Moshiより英語で優位． LLaMA-Omniより中国語で優位． 平均応答時間：OmniFlaten 193ms vs Moshi 553ms SyncLLMより音声品質・同時生成能力で優位． 3 段階のカリキュラム学習（ASR/TTS➡ターン型➡フルデュプレックス型） 限界 • モデル規模・データ量が小さく，チャット能力や応答速度に改善余地あり． 17

音声トークナイザ： CosyVoice 40ms/token 全体アーキテクチャ 18

3 段階のカリキュラム学習 ①ターンベースの学習 ● ● ● ユーザーの音声/テキストと， アシスタントの音声/テキストの， 4 ストリームをフラット化． ASR→テキスト応答→TTSの順で学習． 100k hours(3割オープンデータ) ②フルデュプレックスベースの学習 ● ● ● ユーザーテキストストリームを除去し， ユーザ音声と，アシスタントテキスト/音声 の3ストリームで学習． チャンク単位で交互にフラット化し， リアルタイムストリーミングを実現． 390k 対話➡2000時間 19

3 段階のカリキュラム学習 ③フルデュプレックスベースの学習 ● アシスタントのテキストストリームも除去し，音声-音声の2ストリームで学習． ● 純粋な音声間生成能力を強化． ● ②と同じデータである，2000時間 20

音声対話データ合成 21

音声対話データ合成 対話テキストの生成 & TTS ユーザはランダム話者， システムは固定話者． ユーザー音声にノイズを加え， 2ch 音声データを生成 シングルターン WAVを連結し， 割り込みや沈黙などの動態をシミュレート． 22

ASRとTTSについての評価 ASR TTS Librispeech/WenetspeechでのWER/CER を評価． LibriTTS/AIShell-3でのWER/CERを評価． Whisperモデルよりは劣るが，VITAより優れ るケースも存在． ChatTTSより良好．OriginalやCosyVoiceには 及ばず． UTMOSスコアも高く，自然な音声品質． モダリティアライメントで音声理解能力を獲 得． 23

多段階学習の効果・チャット能力についての評価 LLM-AJ：多段階学習でチャット能力が向上．2ストリームのみだと性能低下． Moshi より応答時間が大幅短縮，ターン交代精度も向上． 24

https://anonymous598e.github.io/INTERSPEECH2025-DEMO/ Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model Ke Hu∗1 , Ehsan Hosseini-Asl∗1 , Chen Chen∗1 , Edresson Casanova1 , Subhankar Ghosh1 , Piotr Zelasko ˙ 1 , Zhehuai Chen1 , Jason Li1 , Jagadeesh Balam1 , Boris Ginsburg1 1NVIDIA, USA Interspeech 2025 25

• https://www.isca-archive.org/interspeech_2025/hu25f_interspeech.pdf
• https://anonymous598e.github.io/INTERSPEECH2025-DEMO/

アーキテクチャ 事前学習済みのエンコーダ(CTCベース)を使うことで， 音声-テキストの事前学習を不要にした． TinyLlama-1.1B-chatが初期LLMモデル． 26

アーキテクチャ 事前学習済みのエンコーダ(CTCベース)を使うことで， 音声-テキストの事前学習を不要にした． TinyLlama-1.1B-chatが初期LLMモデル． Moshi との違い LLM は(相槌を含め) 「何を言うか」は決めるが， 「どう音声として振る舞うか」は決め ていない． 27

独自のコーデック(Personalized NanoCodec)を採用 NanoCodecを特定の話者でfine-tuningすることで， 低ビットレートながら，最も良い評価． 余談：2026/01/16に公開した https://github.com/NVIDIA/personaplex にもその傾向が見られる． 28

• https://github.com/NVIDIA/personaplex

学習データ • 音声-テキストの事前学習をスキップしているため，データ量は少なくて済む． • ASR-QA (20k hours): 公開データおよび自社データのASRラベル付き音声から， LLMを使用して生成された合成質疑応答データ． • マルチターン対話 (3 k hours): テキストベースの対話データ（Internal SFT）をTTSで音声化． • 日常会話 (3.3 k hours): UltraChatやTopicデータセットを基に， Llama-3.1などのモデルを用いて生成された4ターンの会話データ 29

デュプレックス対話の作成する工夫 • 割り込み（Barge-in）の再現: エージェントが話している途中でユーザーが話し始めた場合に， エージェントの音声を途中でカットし， その後の遅延を考慮した無音を挿入することで，自然な割り込み挙動を学習． • • ターン間の制御: ユーザーが話し終えてからエージェントが話し始めるまでの間に 0.64秒の無音を挿入し，誤った割り込みを防ぎつつ低遅延な応答を両立． 30

評価 Impatient はユーザが頻繁に割り込む状況を想定したデータセット 31

目次 1. フルデュプレックスモデルの基本構造 • WavChat ：サーベイ論文 • 音学シンポジウム2025の小松さんの資料 2. フルデュプレックスモデルの具体例 • OmniFlatten • SALM-Duplex ：10分 ：10分 3. フルデュプレックスモデルの評価はどうあるべきか ：10分 • Full-Duplex-Bench-v2 • FD-Bench • (Full-Duplex-Bench, GPT-Realtime を測る指標) 4. 最新動向 ：10分 • Sakana AIの Speech-to-Speech モデル(KAME)：Fast-and-Slow の考えを体現 32

• https://github.com/ryota-komatsu/slp2025/blob/main/slp2025-tutorial.pdf
• https://arxiv.org/pdf/2503.04721
• https://www.ai-shift.co.jp/techblog/6429

Full-Duplex-Bench-v2: A Multi-Turn Evaluation Framework for Duplex Dialogue Systems with an Automated Examiner Guan-Ting Lin¹ Shih-Yun Shan Kuan¹ Jiatong Shi² Kai-Wei Chang³ Siddhant Arora² Shinji Watanabe² Hung-yi Lee¹ ¹ National Taiwan University ² Carnegie Mellon University ³ Massachusetts Institute of Technology 2025/10 33

• https://arxiv.org/abs/2510.07838

概要 • フルデュプレックスモデルの発展により， 対話音声を1モデルが合成できるようになった． ➡ 対話音声をどう評価するか，という問題． • フルデュプレックスモデルの評価を目的としたシステムの提案． • 人間が評価するように，モデルのマルチターン対話を評価する． • GPT-Realtime, Moshi, Freeze-Omni，の3モデルを評価 • Examiner と Evaluatee に分かれて評価する． • ※ただの音声QAではないベンチマークがよい． 34

Full-Duplex-Bench-v2：概要 https://github.com/DanielLin94144/Full-Duplex-Bench 試験官役のAI(GPT-Realtime)が，レストラン予約などの複数ステップからなるタスクをテス ト対象のAIとリアルタイムでストリーミングマルチターン会話を行う． ①Turn-Taking，②Instruction-Following，③Task-Specific Goal の観点で評価． 1.日常 2.訂正 3.Entity追跡 4.安全性

• https://github.com/DanielLin94144/Full-Duplex-Bench

Full-Duplex-Bench-v2：評価① TTはどのモデルも時間がたつとスコアが下がる．IFはタスクによる．

Full-Duplex-Bench-v2：評価② GPTでも満点ではない． 記憶力が必要なタスクのEntityでは，Moshiはガクっと下がっている．

Full-Duplex-Bench-v2：まとめ ● ● ● ● ● AIが苦手なことは， ○ ①話が途中で変わる「訂正」と ○ ②話の流れを覚えておく「Entity追跡」である． 会話のペースをゆっくりにすると，考える余裕ができて，スコアが上がる． 時間がたつと（=マルチターンを経ると），スコアが下がる． 参考にできる点： ○ 「訂正」と「Entity追跡」をする会話をGPT-Realtimeを行わせて評価する． ○ 本論文にはないが，「話題転換」についてこれるか，の指標も有れば良さそう． ○ ➡Moshi-ServerとGPT-RealtimeをWebRTCで接続するフレームワークを実装する必要．

FD-Bench: A Full-Duplex Benchmarking Pipeline Designed for Full Duplex Spoken Dialogue Systems Yizhou Peng, Yi-Wen Chao, Dianwen Ng, Yukun Ma, Chongjia Ni, Bin Ma, Eng Siong Chng 1Alibaba-NTU Global e-Sustainability CorpLab, Nanyang Technological University, Singapore 2College of Computing and Data Science, Nanyang Technological University, Singapore 3Alibaba, Alibaba Inc., Singapore ACL 2025 39

• https://www.isca-archive.org/interspeech_2025/peng25b_interspeech.pdf

LLM・TTS・ASRを統合し，より自然で人間らしい対話能力を測定 主観評価 (LLM-AJ, PPL) 対話テキストの生 成 TTS・ MUSANから 多様な話者や 騒音環境を再現 Whisperで ASR・SileroVAD でタイムスタンプ 取得 客観評価 40

ユーザの割り込みに対する堅牢性 • 割り込みの難易度で，E, M, H．(SRR 下がっていく．) • MoshiがSRR（正常応答率）やSIR（割り込み成功率）で優位： 割り込みを学習しているため． • Moshiは割り込み遅延（IRD）が低い一方， 全体的な応答の速さ（FSED）ではFreeze-omniの方が速い． 41

ノイズ環境に対する堅牢性 • • • • 背景ノイズがシステムに与える影響を評価 Gap noise（発話間のノイズ）: ユーザーの発話がない区間に挿入されるノイズ（ID: 6） Background noise（背景ノイズ）: 会話全体に重畳されるノイズ（ID: 7） SNR（信号対雑音比）: 0dB(ノイズ大)，10dB，20dB(クリア)の異なるレベル 42

ノイズ（背景雑音や発話間の突発的なノイズ）環境に対する堅牢性 • 発話間のノイズ（Gap noise）への反応: MoshiとVITA-1.5はノイズをユーザーの入力と誤認して反応する率（NIR）が上昇するが ，Freeze-omniは高いVADしきい値により比較的安定． • 背景ノイズの影響: 背景ノイズが強くなる（SNRが低くなる）とすべてのシステムで主観的スコア（Score）が著しく低下．➡ ノイズが音声のフィルタリングや内容の理解を困難にすることを示唆． • Moshiの特性: 背景ノイズ下では，Moshiはノイズをユーザー入力と誤認しやすくなり， 応答のタイミング（FSED）が早まる傾向が見られる． 43

指標とまとめ SRR / SIR / SRIR: ユーザーの発話や割り込みに対して、システムがどれだけ正しく反応・中断・再開できた かの割合． IRD / FSED / ERT / EIT: 応答の遅延や早すぎる応答のタイミングをミリ秒単位で測定したもの． Score: GPT-4oによる「関連性」「創造性」など6項目に基づいた10段階の主観評価スコア C-PPL: Llama3を用いて，応答が文脈にどの程度適合しているかを測定した言語的指標 ➡頻繁な割り込みや騒がしい環境下では依然として大きな課題を抱えている． 44

GPT-Realtimeの評価 OpenAI 2024/10 APIのドキュメント：https://platform.openai.com/docs/guides/realtime 45

• https://openai.com/ja-JP/index/introducing-gpt-realtime/
• https://platform.openai.com/docs/guides/realtime

評価 • Big Bench Audio • 音声入力をサポートする言語モデルの推論機能を評価する評価データセット • 高度な推論を厳密にテストするために選ばれた Big Bench Hard からの質問を音声ドメインに 適合 • MultiChallenge の音声ベンチマーク • 指示への追従の精度を測定する • FunctionCalling • 呼び出される関数の妥当性、呼び出しの適時性、さらに適切な引数による呼び出し（精度の向 上を可能にする）の3本の軸 46

• https://huggingface.co/datasets/ArtificialAnalysis/big_bench_audio
• https://arxiv.org/abs/2501.17399
• https://github.com/zai-org/ComplexFuncBench

目次 1. フルデュプレックスモデルの基本構造 • WavChat ：サーベイ論文 • 音学シンポジウム2025の小松さんの資料 2. フルデュプレックスモデルの具体例 • OmniFlatten • SALM-Duplex ：10分 ：10分 3. フルデュプレックスモデルの評価はどうあるべきか ：10分 • Full-Duplex-Bench-v2 • FD-Bench • (Full-Duplex-Bench, GPT-Realtime を測る指標) 4. 最新動向 ：10分 • Sakana AIの Speech-to-Speech モデル(KAME)：Fast-and-Slow の考えを体現 47

• https://github.com/ryota-komatsu/slp2025/blob/main/slp2025-tutorial.pdf
• https://arxiv.org/pdf/2503.04721
• https://www.ai-shift.co.jp/techblog/6429

KAME: TANDEM ARCHITECTURE FOR ENHANCING KNOWLEDGE IN REAL-TIME SPEECH-TO-SPEECH CONVERSATIONAL AI So Kuroki, Yotaro Kubo, Takua Akiba, Yujin Tang Sakana AI, Tokyo, Japan 2025/10 48

• http://arxiv.org/abs/2510.02327

概要 • Sakana AI が出した，Speech-to-Speech 対話モデル． • Fast-and-Slow の考えが体現されている． • Unmuteに匹敵するスコアを出しながら， レイテンシもMoshiと同等にすることを達成． 49

提案されたアーキテクチャ 50

参考：Moshi のトークンの扱い方 51

学習時の対話データ例 広告規制機関は、広告が危険な行為を助長してはならないと勧告している 一般論 詳細．同意 ああ、そうだ。安全でない慣行のことか … 反応 52

模擬オラクルの生成 • 2者間対話データセット（ユーザーの入力と正解の応答が含まれるもの）を， リアルタイムLLMの挙動を模倣するように変換． • 段階的な洗練（Progressive Refinement）: ユーザーの発話が進むにつれて，オラクルテキ ストが徐々に正確になり，最終的に正解の応答に収束するようにシミュレート． • ヒントレベル（Hint Levels）の設定: ユーザーの入力の完成度（聞いた単語の割合）に基づ きシュミュレーターLLMに対して0から5までのヒントレベルを設定してプロンプトを与える． • レベル0: 入力が半分未満の時，ヒントなしでもっともらしい文を生成させる． • レベル1-4:入力が進むにつれ，履歴と正解応答を「ヒント」として与え，徐々に正解に近い内容を生成させ る． • レベル5: 入力完了時，正解応答をそのままオラクルとして使用． 入力量 53

模擬オラクルの生成 2者間対話データセット（ユーザーの入力と正解の応答が含まれるもの）を， リアルタイムLLMの挙動を模倣するように変換． • 段階的な洗練（Progressive Refinement）: ユーザーの発話が進むにつれて，オラクル・ テキストが徐々に正確になり，最終的に正解の応答に収束するようにシミュレート． • ヒントレベル（Hint Levels）の設定: ユーザーの入力の完成度（聞いた単語の割合）に基 づき，シュミュレーターLLMに対して0から5までのヒントレベルを設定してプロンプトを与え る． ◦ レベル0: 入力が半分未満の時，ヒントなしでもっともらしい文を生成させる． ◦ レベル1-4: 入力が進むにつれ，履歴と正解応答を「ヒント」として与え，徐々に正解に 近い内容を生成させる． ◦ レベル5: 入力完了時，正解応答をそのままオラクルとして使用． 54

フロントエンドS2Sモデルの学習 • 生成した模擬オラクルを使用． • インナーモノローグとバックエンドLLMの出力（オラクル）を整合させる． 1. トークン化: オラクル文はモデル内部の「インナーモノローグ」と同じトークナイザーで処理． 2. 境界トークン: 連続して到着するオラクル文を区別するため， 各文の先頭に専用の特殊トークンを付加． 3. ジッターの追加: 実際のシステムで発生する遅延や変動を模倣するため，トレーニング中にオラクル・トーク ンの到着タイミングにランダムなジッター（揺らぎ）を加える． 4. 損失関数: テキストと音声の混合損失関数を使用し，音声損失に1.5倍の重みを置いて最適化． 55

学習データセット 多様なトピックをカバーするために，以下のデータセットを会話形式に変換して使 用． • MMLU-Pro: 複雑な多肢選択問題。 • GSM8K: 数学の文章題。 • HSSBench: 人文・社会科学のベンチマーク。 56

評価 MT-Bench のスコア 57

再掲：目次 1. フルデュプレックスモデルの基本構造 • WavChat ：サーベイ論文 • 音学シンポジウム2025の小松さんの資料 2. フルデュプレックスモデルの具体例 • OmniFlatten • SALM-Duplex ：10分 ：10分 3. フルデュプレックスモデルの評価はどうあるべきか ：10分 • FD-Bench • Full-Duplex-Bench-v2 • (Full-Duplex-Bench, GPT-Realtime を測る指標) 4. 最新動向 ：10分 • Sakana AIの Speech-to-Speech モデル(KAME)：Fast-and-Slow の考えを体現 58

• https://github.com/ryota-komatsu/slp2025/blob/main/slp2025-tutorial.pdf
• https://arxiv.org/pdf/2503.04721
• https://www.ai-shift.co.jp/techblog/6429