---
title: Speech-to-Speech の次は tool 呼び出しと視覚 — 2026 年の動向
tags: 
author: [阿部雄斗](https://www.docswell.com/user/yuAbe)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/L739NP9G75.jpg?width=480
description: 全二重（聞きながら話す）音声対話モデルの次の課題として、2026 年に論文が急増した「tool 呼び出し」と「視覚情報」の動向をまとめたサーベイです。  1. Tool 呼び出し（実用）：GPT-Live-1 / Qwen Audio 3.1 Realtime / Full-Duplex-Bench v3 / DuplexOmni 2. 視覚情報（没入）：MiniCPM-o 4.5 / DuplexOmni / ELLSA / VideoFDB  研究室の文献報告会（2026-10-26）で発表した資料から、公開済みの論文の内容だけをまとめ直したものです。図は各論文から出典付きで引用しています。  阿部 雄斗（早稲田大学 / NII LLMC） https://yutoabe.com/
published: November 05, 26
canonical: https://www.docswell.com/s/yuAbe/Z8N3D9-s2s-tool-vision-2026
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/L739NP9G75.jpg)

Speech-to-Speech の次は
tool 呼び出しと視覚
2026 年の動向
M2 阿部 雄斗
2026-10-26


# Page. 2

![Page Image](https://bcdn.docswell.com/page/87DGWLGN7G.jpg)

目次と本日の主張
本日の主張
1. Tool 呼び出し ★
次の 2 つの課題：
① tool 呼び出し（実用）
② 視覚情報（没入）
2. 視覚情報 ★
音声対話モデルは「聞く・話す」が同時
にできるようになった．
API 応答待ちの沈黙をどう埋めるか．GPT-Live-1 / Qwen Audio 3.1 /
FDB-v3 / DuplexOmni
「見ながら話す」ができるか．MiniCPM-o 4.5 / DuplexOmni / ELLSA /
VideoFDB
いずれも 2026 年に入って論文が急増した．専用
ベンチも新規に出た．
S2S の次：tool call × 視覚 / 2026-10-26
2 / 36


# Page. 3

![Page Image](https://bcdn.docswell.com/page/VJP3923NE8.jpg)

1. Tool 呼び出し — 実用化の鍵
S2S の次：tool call × 視覚 / 2026-10-26
3 / 36


# Page. 4

![Page Image](https://bcdn.docswell.com/page/2EV4MD4YJQ.jpg)

問題：API 応答待ちの沈黙をどう埋めるか
tool を呼んでから結果が返るまでの数秒間，何を話すか．
どこまでできているか
どの tool を呼ぶか：F1 82.5%
正しい引数で呼ぶ：42.2%
（FDB-v3 の 6 モデルでも 0.51–0.68）
引数の聞き取りだけを測ると：
テキスト入力なら成功率 100%，音声だと 14–41%
対策の 4 方式
① 別チャネル注入 — GPT-Live-1
② tool 統合 — Qwen Audio 3.1 / StepAudio 3
③ 制御トークン＋外部思考層 — DuplexOmni
④ 別出力ストリーム — VoiceChat / DuplexSLA
🔑 「呼ぶ」より「正しい引数で呼ぶ」が難しい
出典: Roark（VoiceChat の FDB-v3 値）/ τ-Elicitation (2609.13602)
S2S の次：tool call × 視覚 / 2026-10-26
4 / 36


# Page. 5

![Page Image](https://bcdn.docswell.com/page/57G1GY1WEL.jpg)

GPT-Live-1 の構成 — 会話レイヤ＋推論レイヤ
前景と背景の間にアプリが入る．前景は音声を止めず，背景の結果は commentary の台詞として受け取る．
前景
GPT-Live-1 — 会話レイヤ
🎤 音声入力（連続）
アプリ
🔊 音声出力（連続）
full-duplex（同時双方向） 相槌・タイミング 台詞の言い換え・声
書き起こし（input / output transcript）
（Live が助けを要請）
session.delegation.created
（声に出す）
session.commentary.append
thinking.append
instructions.append
（黙って文脈へ）/
オーケストレータ（開発者のコード）
（再指示）
会話履歴・タスク状態を保持 背景への要求を組み立てる 自作 function の実行 結果を 3 チャネルに振り分ける
背景
要求（会話文脈）/ function_call_output
response.event
GPT-6 系 — 推論レイヤ（Responses）
の差分（文字・tool 呼び出し）
deep reasoning hosted tool（web search など）は背景の中で実行
🔑 誰が delegation を起こすか： responses 型 = Live 自身（prompt で誘導）／ client 型 = Live が要請し，アプリが背景を呼ぶ．アプリは要請と無関係に呼ん
でもよい．
出典: OpenAI Live delegation docs / Introducing GPT-Live-1 in the API（図は 10/26 に訂正）
S2S の次：tool call × 視覚 / 2026-10-26
5 / 36


# Page. 6

![Page Image](https://bcdn.docswell.com/page/4EQDXMDQJP.jpg)

GPT-Live-1：commentary で沈黙を埋める
背景のテキスト推論モデル（GPT-6 系）の結果を，アプリが 3 チャネルで前景の音声モデル（GPT-Live-1）に注入する．
3 チャネル注入（アプリ → 前景）
📢 commentary
そのまま声に出す台詞 🔊
🧠 thinking
背景モデルの推論結果を，声に出さず文脈に入れ
る🔇
📋 instructions
「次はこう振る舞え」の再指示 🔇
「天気を調べて」
1. ユーザ「天気を調べて」
2. 音声「調べますね」🔊
3. 背景：weather API を呼ぶ（裏）
4. 音声「えーっと…」🔊 ← 間を埋める
5. 背景 → アプリ → commentary：結果を前景へ
6. 音声「晴れですよ」🔊
🔑 音声モデルは一度も黙らない．台詞を受け取って話すだけ（話者
交替 0.798 s）
出典: OpenAI Live delegation docs
S2S の次：tool call × 視覚 / 2026-10-26
6 / 36


# Page. 7

![Page Image](https://bcdn.docswell.com/page/KJ4Z6VZY71.jpg)

Qwen Audio 3.1 Realtime：tool 統合型
Alibaba，2026-09．Full-duplex モデルに function calling / web search / voice cloning を標準装備．
🎙 ユーザ音声 →
Qwen-Audio-3.1Realtime
→ 🔊 応答音声
全二重：聞きながら話す・即時
割り込み
↓ 会話の途中でモデル自身が外部を呼ぶ（外付けの判定器なし）
function calling
アプリ側の関数（予約・検索 API）
を音声から呼び，結果を受けて話す
web search
Web 検索の結果を会話に取り込む
⚠️ function calling と同時には使え
ない
付随機能：voice cloning（数秒のサンプルから声を複製）・感情認識
ベンチ
τ-Voice 82.0%（半二重設定，Qwen
の発表値）
背景音への誤反応 73% → 13%
提供形態
Alibaba Cloud の API（Model Studio）．
日本語は language="ja" で正式サポート
🔑 OpenAI は注入，Qwen は統合
出典: Qwen-Audio-3.1-Realtime (2609.25176) / τ-Voice (2603.13686) / Alibaba Cloud Model Studio docs
S2S の次：tool call × 視覚 / 2026-10-26
7 / 36


# Page. 8

![Page Image](https://bcdn.docswell.com/page/LE1RV3RNEG.jpg)

Qwen Audio 3.1 Realtime：モデル構成（論文図）
Audio Encoder＋LLM を 2 本並列：上 =「いつ話すか」の全二重判断モデル，下 =「何を話すか」の Speech-to-Text モデル → 文脈つき Voice
Renderer が音声化．
🔑 tool は統合だが，「いつ話すか」と「何を話すか」は別モデル．GPT-Live-1（前景／背景）とは切り方が違う 2 層．
出典: Qwen-Audio-3.1-Realtime 技術報告 (arXiv:2609.25176) Fig. 2
S2S の次：tool call × 視覚 / 2026-10-26
8 / 36


# Page. 9

![Page Image](https://bcdn.docswell.com/page/GEW1LPYM72.jpg)

Qwen Audio 3.1 Realtime：公式デモ（日本語・tool 呼び出し）
🇯🇵 日本語で会話（多言語セッションの一部）
中国語で始まった旅行相談の途中，ユーザが日本語に切り替える →
文脈（行程・アレルギー）を保ったまま日本語で答える
ユーザ「京都で一日だけ自由時間があるんですが…おすすめコースを
教えてもらえますか？」→ モデル：伏見稲荷 → 祇園 → … のコース
提案（22 秒）
▶ 上 = ユーザ（L ch）／下 = モデル（R ch）
🔧 tool 呼び出し（公式デモ動画）
音声の依頼がそのまま tool call になる．足りない引数は推測せず聞
き返す（FDB-v3 の「引数」の課題そのもの）
ユーザ
モデル
▶ 多人数会話：自分宛てだけに答える
場
モデル
0:00 / 0:39
▶ 「ちょっと待って」で待てる
ユーザ
モデル
出典: qwenaudio.github.io/qwen-audio-3.1-realtime Demos（公式デモ音声を転載．日本語 2 turn は発表者が L/R に合成）
S2S の次：tool call × 視覚 / 2026-10-26
9 / 36


# Page. 10

![Page Image](https://bcdn.docswell.com/page/47ZPMKXME3.jpg)

FDB-v3 ①：tool 専用ベンチの構成（論文図）
Full-Duplex-Bench の v3（2026-04）．tool 呼び出し専用．図を下から上へ（ユーザ → agent → 評価）クリックで追う．
④
① ユーザ音声（実人間の録音）
「Book me a flight um… to New York — wait…
③
Boston.」
filler と言い直しを台本に仕込む
② Full-Duplex Voice Agent
②
聞きながら Tool Pool（旅行・金融・住宅・EC）の API
を呼ぶ
①
③ Agent の時間軸
Listening → search_flights("Boston") →
「booked … to Boston」
言い直しに追随して引数を更新できたか
出典: Lin+ FDB-v3 (arXiv:2604.04847) / GitHub
S2S の次：tool call × 視覚 / 2026-10-26
④ 評価 3 軸
tool-use ／ turn-taking ／ latency
10 / 36


# Page. 11

![Page Image](https://bcdn.docswell.com/page/YJ6MNQ457V.jpg)

FDB-v3 ②：6 モデル比較の結果
主要結果（論文 Table から抜粋）
ポイント
モデル
Pass@1 Tool 選択 引数正解 応答品質 Take-turn 割り込み ↓ 遅延 (s)
GPT-Realtime
0.600
0.876
0.680
0.792
96.0%
13.5%
6.89
Gemini Live 2.5
0.490
0.786
0.593
0.554
92.0%
14.1%
7.26
Gemini Live 3.1
0.540
0.817
0.588
0.718
78.0%
19.2%
4.25
Grok
0.430
0.797
0.542
0.617
94.0%
25.5%
6.65
Ultravox v0.7
0.410
0.794
0.513
0.510
96.0%
47.9%
8.40
Cascaded
0.450
0.803
0.562
0.600
100%
33.0%
10.12
Pass@1 = 全 tool を正しい引数で呼べた割合．応答品質 = tool の結果を意図どおり声で伝えたか（GPT-4o
判定）．割り込み = ユーザ発話終了前に話し始めた割合（低いほど良い）．
出典: FDB-v3 (arXiv:2604.04847) Table 2．データは 100 録音・12 話者（英語の母語・非母語）
S2S の次：tool call × 視覚 / 2026-10-26
速さ・正確さ・自然さはトレードオフ
引数正解は 0.51–0.68．tool 選択（0.79–
0.88）より一段低い
tool が合っても結果を伝えきれない分がある
（応答品質 0.51–0.79）
Cascaded（Whisper + GPT-4o + OpenAI
TTS）は take-turn 100% だが 10 秒待たせる
🔑 論文時点で Pass@1 最大 0.60．その後
GPT-Live-1 は 0.87 と発表（OpenAI）
11 / 36


# Page. 12

![Page Image](https://bcdn.docswell.com/page/GJ5Z5RQGE4.jpg)

DuplexOmni：相互作用層と思考層はこう動く（模式図）
相互作用層 = 全二重モデル（即座に話す）／思考層 = 外部の MLLM・tool（裏で検索）．制御トークンで繋がる．クリックで時間が進む．
👤 ユーザ
🗣 相互作用層
Talker
🔧 思考層
① 依頼
「2/28 の上海 → LA の便を
調べて」
③ 割り込み
（沈黙．相手が話しているのを聞いて 「あ，待って．北京発にし
いる）
て」⚡
④ 再検索 → 回答
[THINK] 「はい，今すぐ調
べますね」
→ [THINK] を出力して思考層
「PVG 発 LAX 行きを確認中
です…」
↑ 入力列に届いた <…> 断片を
「見つかりました．PKX 発は
午前，PEK 発は午後に…」
文脈を追加 → 検索 tool 起動
streaming feedback ↑
を起動．検索が始まる前に応答し
沈黙を作らない
Thinker + tool
② 検索中も話し続ける
そのまま口にする
<PVG→LAX
を確認中…>
途中経過を <…> で包んで相互
作用層の入力列へ流す
「…午前便が」 [CUT]
[WAIT]
[CUT] = 発話をここで止める，
[WAIT] = 思考層を中断
「了解，PKX / PEK 発で調べ
直します」
⏹ 思考を停止（ [WAIT] を
受けて）
文脈を更新 → 再検索
（沈黙）
streaming feedback ↑
<PKX
発 … / PEK 発 …>
要点：2 層は非同期．途中経過が <…> で流れ込むので検索結果が揃う前から話し始められる．割り込みは [WAIT] で思考層を止めて再起動．
出典: DuplexOmni (arXiv:2606.09186) Fig 2(a) を発表者が再構成
S2S の次：tool call × 視覚 / 2026-10-26
12 / 36


# Page. 13

![Page Image](https://bcdn.docswell.com/page/9E2RNDPDJR.jpg)

DuplexOmni：相互作用層と思考層を非同期で繋ぐ（論文図）
上 (a) = 前頁の時間軸．下 (b) = 相互作用層の中身：Talker と Thinker が 1 つの backbone で音声・文字・画像 token を交互に出す（Thinker–
Talker の構成は Appendix）．遅延 0.506 s．
出典: DuplexOmni (arXiv:2606.09186) Fig 2
S2S の次：tool call × 視覚 / 2026-10-26
13 / 36


# Page. 14

![Page Image](https://bcdn.docswell.com/page/D7YDP25M7M.jpg)

Tool 呼び出しまとめ
4 方式
① 別チャネル注入
GPT-Live-1
② tool 統合
Qwen Audio 3.1 / StepAudio 3
③ 制御トークン＋外部思考層
DuplexOmni
④ 別出力ストリーム
VoiceChat / DuplexSLA
S2S の次：tool call × 視覚 / 2026-10-26
共通の課題
正しい引数で呼べるのは 4〜7 割
Pass@1 は論文時点で最大 0.60
GPT-Live-1 は 0.87 と発表（OpenAI）
言い直し・filler で確実に劣化
応答待ちの間をつなぐ発話の生成
14 / 36


# Page. 15

![Page Image](https://bcdn.docswell.com/page/VEN658N3E8.jpg)

Tool call のまとめ — ここまでできれば何が変わる？
tool call が実用レベルで走ると，知識検索と身体制御の両方が音声対話に乗る．
① 外部 API：検索 → 予約まで
ユーザ：「栃木でおすすめのホテル知ってる？」
search_hotel(area="
栃木")
システム：「えーっと，<API → DB> 日光グランドホテルですね．」
ユーザ：「じゃあそこ予約しておいて」
reserve_hotel(name="
日光...", date=...)
システム：「ちょっとお待ちを…<API> 予約取れました．」
📌 検索・予約・天気・乗換案内 … 任意の外部 API が同じ枠組み．
「えーっと」が応答待ちの沈黙を埋める．
② 身体制御：ロボットの移動
goto("kitchen")
/ stop() を tool call として出力すれば歩
く．
音声で「台所に行って」と言われたら，会話を止めずに移動の tool
を呼び，歩きながら「向かいますね」と返す．
行動を出力列として持つ研究は §2 の ELLSA（卓上ロボット操作）
が近い．
⚠️ ただし「移動」には視覚が要る（kitchen はどこか，障害物は）．text だけの tool call では閉じない → §2 視覚へ．
S2S の次：tool call × 視覚 / 2026-10-26
15 / 36


# Page. 16

![Page Image](https://bcdn.docswell.com/page/Y79LYKRPJ3.jpg)

2. 視覚情報 — 没入の鍵
S2S の次：tool call × 視覚 / 2026-10-26
16 / 36


# Page. 17

![Page Image](https://bcdn.docswell.com/page/G78X6RWXED.jpg)

問題：「見て答える」は OK，「見ながら会話」は NG
画像を見て質問に答える（VQA）はできる．会話中に視覚を織り込み続けるのはまだ難しい．
✅ できている：見て答える
「この写真の人物は誰？」→ 回答
ターン制の視覚質問応答
一度に 1 枚の画像
⚠️ まだ：見ながら会話
相手の頷き・視線そらしに応答する
相手の表情を見てトーンを変える
動画の変化を見ながら発話を調整する
🔑 VideoFDB の指摘：VQA はできても streaming の audiovisual grounding はできない．要求を音声＋映像から拾えるの
は最良でも 44.7%（ODU-Bench）．
S2S の次：tool call × 視覚 / 2026-10-26
17 / 36


# Page. 18

![Page Image](https://bcdn.docswell.com/page/L7L89KNNJR.jpg)

MiniCPM-o 4.5：1 秒 chunk で視覚と音声を同じ列に（模式図）
1 秒ごとの chunk に画像 1 枚（64 tok）＋音声 10 tokを並べて LLM に入れ， [silent] （聞く）かテキスト（話す）を出す．クリックで 1 秒ず
つ進む．
chunk 0（0–1 s）
chunk 1（1–2 s）
🖼 ユーザがマグカップを持つ 🖼 同じ（持ったまま）
chunk 2（2–3 s）
🖼 同じ
chunk 3（3–4 s）
🖼 カップを裏返す（底に文
字）
🎙 音声入力
「これ，何か」
「分かる？」
（無音）
（無音）
🧠 LLM 出力
まだ聞く．hidden state は次
chunk へ持ち越し
[silent]
テキスト「マグカップですね」 テキスト「底に … と書いてあ
→ 🔊 TTS
る」→ 🔊
👁 視覚
画像 1 枚 = 64 tok
10 tok / chunk
[silent] / テキスト
… 64 tok
[silent]
毎 chunk 画像を必ず入れる
質問が終わるまで待つ
視覚 + 音声の両方を見て答える
話しながら視覚の変化を取り込む
要点：視覚と音声を同じ 1 本の token 列に時間順で並べるだけ（Omni-Flow）．単純で視覚リッチ（画像 1 枚 64 tok）．ただし判断が 1 秒に 1 回なので，相槌や割り込み
の応答粒度は 1 秒 = 自然な turn-taking には粗い．
出典: MiniCPM-o 4.5 (arXiv:2604.27393) の構成を発表者が再構成
S2S の次：tool call × 視覚 / 2026-10-26
18 / 36


# Page. 19

![Page Image](https://bcdn.docswell.com/page/4EM6Z2XQ7W.jpg)

MiniCPM-o 4.5：Omni-Flow で視覚と音声を並列化（論文図）
OpenBMB．LLM = Qwen3-8B（テキスト LLM）＋ 視覚 = SigLIP ViT（0.4B）＋ 音声入力 = Whisper Medium encoder（0.3B）＋ 音声出力
= Llama 系 speech decoder（0.3B）＋ flow-matching．計 9B，重み公開．
🔑 単純で視覚リッチ．ただし応答の粒度が 1 秒 → 自然な turn-taking には粗い．
出典: MiniCPM-o 4.5 (arXiv:2604.27393)
S2S の次：tool call × 視覚 / 2026-10-26
19 / 36


# Page. 20

![Page Image](https://bcdn.docswell.com/page/PERP6MNK79.jpg)

視覚の入れ方：DuplexOmni 480 ms vs MiniCPM 1 s
違いは時間の刻みと視覚の量．1 スライスの中身を並べて比べる．
MiniCPM-o 4.5：1 秒 chunk
画像 1 枚 = 64 tok
音声 LLM
10 出力
chunk ごとに画像 1 枚を 64 tok に展開して入れ，LLM が
その chunk の出力 tok（聞くなら [silent] 1 個，話す
なら発話テキスト）を同じ列に続けて生成．判断は 1 秒に
1 回．
Daily-Omni（視覚＋音声理解）80.2
Full-Duplex-Bench v1.5 ToR 36.3
DuplexOmni：480 ms スライス
画像 1 音声 codec 6 フレーム（= 480 ms） テキスト / 制
枚
御 tok
スライスごとに 画像フレームを 1 枚だけサンプル → 視覚
軽量．判断は 0.48 秒に 1 回．
Daily-Omni 53.8（視覚理解では負ける）
Full-Duplex-Bench v1.5 ToR 72.6／遅延 0.506 s
要点：視覚の量と turn-taking の速さはトレードオフ．MiniCPM は「よく見るが遅い」，DuplexOmni は「薄く見るが速い」．
出典: DuplexOmni (arXiv:2606.09186) Table / MiniCPM-o 4.5．数値は DuplexOmni 論文の比較表より．
S2S の次：tool call × 視覚 / 2026-10-26
20 / 36


# Page. 21

![Page Image](https://bcdn.docswell.com/page/P7X3MVN5EX.jpg)

ELLSA ①：Listen / Look / Speak / Act を 1 モデルに（論文図）
ICLR 2026．音・画・文に行動を足した 4 モダリティを 1 モデルで．
(a) SA-MoE：Speech Expert と Action Expert を attention で融合 (b) 時間ブロック内で Speech → Image → Text → Action を交互に
🔑 行動を 4 つ目のモダリティとして扱う VLA＋全二重音声．World Model（Dreamer / Sora）とは別物．
出典: arXiv:2510.16756 (ICLR 2026) / HF dataset
S2S の次：tool call × 視覚 / 2026-10-26
21 / 36


# Page. 22

![Page Image](https://bcdn.docswell.com/page/37KYGQNRED.jpg)

ELLSA：モデル構成 — SA-MoE の中身（論文 Fig 2・3）
2 本の LLM（Speech Expert = LLaMA-3.1-8B + LoRA，Action Expert = Emu3-Base + LoRA）がモダリティごとに層を受け持ち，K / V を
共有する attention で互いを見る．
Fig 2：各列が自分の Expert を通り，K・V は前の列から引き継ぐ
Fig 3（Stage 3）：部品の全体．🔥 = 学習，❄ = 凍結
Speech Encoder：streaming VisionVQ：Emu3Mamba（32 層）
VisionTokenizer
Speech Synthesizer：
Action tokenizer：FAST（語
CosyVoice2-0.5B（text 8 → 彙末尾 1,024 個）
codec 25）
🔑 ブロック = 1 秒（音声 1 秒＋画像 1 枚 → テキスト 8 tok か <silence> ＋行動）．2 本の LLM を attention で繋ぐ．
出典: ELLSA (arXiv:2510.16756) Fig 2・Fig 3
S2S の次：tool call × 視覚 / 2026-10-26
22 / 36


# Page. 23

![Page Image](https://bcdn.docswell.com/page/LJ39NPVGJ5.jpg)

ELLSA ②：speaking-while-acting と action barge-in
ELLSA が示した 3 つの新しい振る舞い．
① 動きながら話す
「ペットボトル取って」
の作業中に「どこに置く？」
と聞かれて答える
行動と発話が並行
② 動きながら見て答える
「今持ってる物の色は？」→
視覚＋発話で答える
視覚が streaming で入り続ける
③ 声で動作に割り込む
「ストップ！」で動作中断
発話 → 行動の割り込み
🔑 専用モデル並みの性能のまま全二重の振る舞いを追加獲得．続編 ELLSA 2（2026-10）は表情・ジェスチャを出力側で生
成．
S2S の次：tool call × 視覚 / 2026-10-26
23 / 36


# Page. 24

![Page Image](https://bcdn.docswell.com/page/8JDGWL8NJG.jpg)

ELLSA：デモ（論文のコマ送りを動画に）
公開デモ動画は無いので，GitHub のストーリーボード 10 コマを発表者がコマ送り動画にした（約 20 秒，セリフは英語の合成音
声）．ロボットはシミュレータ．
コマ 1–4：「黒いボウルを棚の下段
へ」→ 聞き終えて動き出す
コマ 5–6：作業中に「今ボウルはど
こ？」→ 腕を止めずに「グリッパー
の中です」
コマ 9–10：「ここで止めて」→ 動作
をキャンセル
0:00 / 0:19
出典: bytedance/SALMONN（ELLSA ブランチ） docs/imgs/example.png（Apache-2.0）を再構成．
S2S の次：tool call × 視覚 / 2026-10-26
24 / 36


# Page. 25

![Page Image](https://bcdn.docswell.com/page/VEP3928N78.jpg)

VideoFDB ①：初の AV2AV 全二重ベンチ（論文図）
NVIDIA，2026-05．実ビデオ通話から切り出した 237 クリップ × 11 の非言語的な振る舞い．
🔑 AV2AV = 入出力とも音声＋映像．LLM judge が rubric で採点．映像は参加者保護のため非公開．
出典: VideoFDB (arXiv:2605.30256) / NVIDIA / HF dataset
S2S の次：tool call × 視覚 / 2026-10-26
25 / 36


# Page. 26

![Page Image](https://bcdn.docswell.com/page/27V4MDNYEQ.jpg)

VideoFDB ②：leaderboard — 人間との差
v2 の 2 表：Perception（相手の非言語を読む）／Generation（自分で出す）
Perception（音声＋映像の理解） Generation（音声＋映像の生成）
モデル
Overall モデル
Overall
Human
4.20
Human
3.92
MiniCPM-o 4.5
3.40
Tavus Griffin Lite
3.83
Gemini 2.5 Flash Native 3.17
Gemini 3.1 Flash Live
2.84
gpt-realtime
2.75
知見
非言語を出す（Generation）：人間 3.92 vs 最良
3.83 で僅差
非言語を読み取る（Perception）：人間 4.20 vs
最良 3.40 で差が大きい
Cascaded は全二重の非言語キューを出せない
Gemini 2.5 + Anam
（cascaded＋アバター） 2.80
Gemini 2.5 + Keyframe
2.39
🔑 商用アバターは人間に迫った．相手の頷き・視線・笑いを読み取る力が次の課題．
出典: VideoFDB v2 (arXiv:2605.30256v2) / project page
S2S の次：tool call × 視覚 / 2026-10-26
26 / 36


# Page. 27

![Page Image](https://bcdn.docswell.com/page/5JG1GYKW7L.jpg)

まとめ — 実用 × 没入
① 実用（tool 呼び出し）
4 方式：注入 / 統合 / 制御トークン / 別ストリーム
専用ベンチ FDB-v3 が出た
課題は引数の正確さと
応答待ちのつなぎ
② 没入（視覚）
MiniCPM / DuplexOmni / ELLSA の 3 系譜
専用ベンチ VideoFDB が出た
非言語を出す力は人間に迫り，読み取る力に差
👉 前景の音声モデル＋背景の推論モデルの 2 層構成が商用で定着しつつある．次の焦点は tool 呼び出し（実用）と視覚（没
入）．
ご清聴ありがとうございました．
S2S の次：tool call × 視覚 / 2026-10-26
27 / 36


# Page. 28

![Page Image](https://bcdn.docswell.com/page/47QDXMNQEP.jpg)

Appendix
S2S の次：tool call × 視覚 / 2026-10-26
28 / 36


# Page. 29

![Page Image](https://bcdn.docswell.com/page/KE4Z6VGYJ1.jpg)

Appendix: 2026-07〜10 の新着（本編で触れきれない分）
2026-10-23 時点で arXiv の abstract を確認したもの．数値は各論文の報告値．青 = tool call，緑 = 視覚．
論文（arXiv）
日付 / 出所
何か
本発表との関係
方式 ④．FDB 3.0 tool 選択 F1 82.5%，
引数は弱いと自認
GPT-Live-1（①）のオープン再現
NemotronLabs VoiceChat
09-18 / NVIDIA, 11B オープン全二重 S2S．tool call
（2609.21967）
NeurIPS
を別の出力ストリームで出力
Frontend-backend for tool calls
09-16 / NVIDIA 系 全二重 frontend が delegation token を出力し text
（2609.19334）
backend が tool 実行
StepAudio 3 Realtime（2609.14005） 09-12 / StepFun Think-While-Speaking + 非同期 tool 実行．τ-Voice
Qwen Audio 3.1（②）の対抗馬
56.0%
τ-Elicitation（2609.13602）
09-11 / Sierra 系 200 タスクの引数聞き取りベンチ．成功率 テキスト 100% 「引数の課題」の専用ベンチ
vs 音声 14–41%
VAmoS Bench（2607.27453）
07-29
100 シナリオ．模擬 DB の最終状態で tool call を採点
最終状態で採点する枠組み（カード窓口）
DuplexSLA（2605.20755）
05 / GitHub 公開 160 ms chunk にテキスト action channel を並走．会話中 会話中に tool を呼ぶオープン実装
tool call
ELLSA 2（2610.21452）
10-15 / 清華
表情＋ジェスチャを聞きながら・話しながら streaming 出力 視覚 OUTPUT 側の最新
OmniVChat（2609.21465）
09-18 / Qwen3- AV 対話の合成エンジン＋ベンチ＋RL 報酬
日本語ビデオ対話 corpus 不足への解
Omni 上
ODU-Bench（2609.21392）
09-18
AV 文脈から要求を検出．最良 44.7%，誤発火 50% 超が 「見ながら会話は NG」の定量根拠
11/14
AV-STE（2609.08390）
09-08 / KAIST, 凍結 Moshi の前段に口唇映像で雑音下の音声 tok を復元 Moshi に視覚を足す最小構成
EMNLP
MP-Bench / MSI-Bench（2609.13076 / 09-11 / 09-21
多人数音声ベンチ．リアルタイム agent の理解 ≤ 22%
没入の次の課題 = 多人数
2609.24812）
主要ベンダ（Kyutai / Qwen-Omni / OpenBMB / Meta / Sesame）は 07〜10 月に新モデルなし（発表者調べ）．VoiceChat のライセンスは要確認．
S2S の次：tool call × 視覚 / 2026-10-26
29 / 36


# Page. 30

![Page Image](https://bcdn.docswell.com/page/L71RV3DN7G.jpg)

Appendix: 紹介したモデルの学習データ — 実データか合成か
各論文の記述から（2026-10-24 確認）．時間数が書かれていないものは件数で．「—」= 論文に記載なし．
モデル
GPT-Live-1
Qwen-Audio-3.1Realtime
DuplexOmni
MiniCPM-o 4.5
ELLSA
ELLSA 2
NemotronLabs
VoiceChat
StepAudio 3
Realtime
DuplexSLA
実データ（種類・量）
非公開（docs・launch 資料に記述なし）
音声–テキスト対「100 万時間規模」（実/合成の内訳なし）
合成データ（種類・量）
tool・agent 学習：コード agent が環境と DB を生成，LLM の user
simulator，ユーザ発話は TTS（量不記載）
実録音も使う旨のみ（量・出所なし）
台本 約 302 万対話（Qwen3.5-397B が生成，video-call 1 万）→
Qwen3-TTS で合成．中 70% / 英 30%
無ラベル音声「数百万時間」（Web）；人手の全二重シナリオ LLM 生成の口語対話（一部は声優が再録音）；合成キャプション
（量なし）
ASR：LibriSpeech 281k＋GigaSpeech 200k；
質問音声は元データ（実）
Seamless Interaction 81 話者 1,318 録画（表情・
身振り）；ASR 481k・QA 982k（質問側は実）
「自然な音声会話」≈ 4.2k h / 45k 対話（出所不明）
データ公開
—
非公開
公開予定
非公開
QA 応答音声は CosyVoice2 で合成（約 70 万件）；ロボット操作は LIBERO HF に学習データあり
（シミュレータ）3,386 件；barge-in 1,500 回
多ターン音声対話 434k 件（TTS），応答音声は CosyVoice2
コード公開，
データは予定
CPT：テキストを 2 話者 TTS；SFT：duplex ≈ 72k h，tool calling ≈
モデルのみ
7.0k h（多 agent で生成 → TTS），MCQ 24k h，QA 12k h
事前学習 1.2T token；ASR の実ラベル；agent の実
合成全二重対話 10,000 h 超（midtraining）；多ターンは self-play；
非公開
trajectory（量なし）
推論跡はモデル生成
—（「raw dialogue」の出所なし）
CPT ≈ 500k h（duplex 320k h＋ASR 180k h）；post-training ≈ 50k h ベンチのみ
（tool-call 14k h）．TTS＋voice cloning 1,818 話者
Moshi（参考）
音声事前学習 700 万 h；Fisher 2,000 h（実対話）；2
指示調整用の合成音声 2 万 h 超（自社 TTS）
モデルのみ
者録音 170 h
MoshiRAG（参考） なし
全部合成：LLM 台本＋多チャネル TTS，190 万対話 / 47,770 h
推論コードのみ
🔑 全二重の対話・tool 学習データは，どのモデルも「LLM が台本 → TTS で合成」が主．実録音は事前学習の音声（Moshi 700 万 h，MiniCPM 数百万 h）と
Fisher・Seamless・ASR コーパスに限られる．
S2S の次：tool call × 視覚 / 2026-10-26
30 / 36


# Page. 31

![Page Image](https://bcdn.docswell.com/page/G7W1LP8MJ2.jpg)

Appendix: Qwen3-Omni の Thinker–Talker 構成
DuplexOmni の相互作用層の元．Thinker（テキスト）と Talker（音声 token）の 2 本の MoE を Thinker の中間層の隠れ状態で繋ぐ．
入力：音声は AuT（Attention encoder，0.6B，2,000 万時間で学習）→ 12.5 Hz（80 ms
に 1 token）．画像・動画は SigLIP2-So400m（0.54B，Qwen3-VL から初期化）
Thinker：MoE 30B-A3B．マルチモーダル入力からテキストを生成（通常の omni LLM）
Talker：MoE 3B-A0.3B．Thinker の中間層から取り出した隠れ状態と多モーダル特徴を受
け，音声 codec の第 0 codebook を自己回帰で出す
MTP module（80M）が残りの codebook（1〜15）を一度に予測 → Code2Wav（因果
ConvNet 200M）がフレームごとに波形へ．理論上の初動遅延 234 ms（音声）/ 547 ms
（動画）
🔑 考える本体と声を出す本体を分けて隠れ状態で繋ぐ．DuplexOmni はこの上に 480 ms スライスと制御トークンを載せた．
出典: Qwen3-Omni Technical Report (arXiv:2509.17765) Fig 2・Table 1
S2S の次：tool call × 視覚 / 2026-10-26
31 / 36


# Page. 32

![Page Image](https://bcdn.docswell.com/page/4JZPMK8M73.jpg)

Appendix: FDB-v3 の 5 disfluency
① Filler
「えー」「あの」
無意味な繋ぎ語
tool trigger と誤認
② Pause
長い沈黙
モデルが早期応答
VAD が切る
③ Hesitation
「えーっと」
迷いの表明
モデルが仮答を出す
④ False start
「あの，
じゃあ違う」
言い直しの開始
旧要件で tool 呼ぶ
⑤ Self-correction
「東京，いや大阪」
自己訂正
引数が旧値のまま
🔑 FDB-v3 では 100 シナリオ中 21 シナリオがこの self-correction / state rollback のパターン．「言い直しに追随して tool 引数を更新する」
能力を測る．
出典: FDB-v3 GitHub README
S2S の次：tool call × 視覚 / 2026-10-26
32 / 36


# Page. 33

![Page Image](https://bcdn.docswell.com/page/YE6MNQP5JV.jpg)

Appendix: VideoFDB の 11 nonverbal dynamics
論文・project page の名前そのまま（VideoFDB ① の論文図の円グラフと同じ）．★ = Perception と Generation の両方で評価される項目．
非言語（視覚が要る）
Gaze Avoidance with Pause
（視線を外しての間）
Pause Handling（間の扱い）
Adaptor Handling（手遊び・
身じろぎへの対応）
言語・ターン
Verbal Interruption（言語の割り込み）
Verbal Backchanneling（言語の相槌）
Turn-taking（話者交替）
Emotion Matching（感情の一致）
🔑 11 項目は Perception
（相手の非言語を読み取る）と Generation
（自分で非言語を出す）の 2
つの表に分かれて採点される．AV2AV = AudioVisual to Audio-Visual．
左右の分け方は発表者の整理．
Nonverbal Interruption
（非言語の割り込み）
Face Emotion Display（表情）★
Nonverbal Backchanneling
（頷き等の相槌）★
Laughter（笑い）★
出典: VideoFDB project page
S2S の次：tool call × 視覚 / 2026-10-26
33 / 36


# Page. 34

![Page Image](https://bcdn.docswell.com/page/GE5Z5RKG74.jpg)

Appendix: 評価サーベイ論文
Negi+ (arXiv:2609.30798) — "Evaluating Real-Time Voice Agents: From Component Quality to Grounded
Outcomes"
構成
38 primary sources
6 カテゴリに分類：
アーキ論文（latency 報告）
Turn-taking 論文（予測精度）
Agentic ベンチ（task success）
他
主張
単一指標ではデプロイ品質が見えない
アーキ / turn-taking / agentic が 分離評価されている
Full-Duplex-Bench 系だけでも v1 → v1.5 → v3
と短期間でバージョンが進む →
サーベイ自身も陳腐化しやすい
🔑 評価指標の統一がまだできていないのが分野の未成熟度の表れ．日本語化すればそれだけで新規性のあるベンチが作れる段階．
出典: arXiv:2609.30798
S2S の次：tool call × 視覚 / 2026-10-26
34 / 36


# Page. 35

![Page Image](https://bcdn.docswell.com/page/972RNDWDER.jpg)

Appendix: Full-Duplex × CoT の最新論文
全二重モデルが 話しながら考えるを実現するために CoT を使う 2025 年秋〜2026 年の論文群．前景（即応）と背景（推論）を
モデル内部の推論で統合する流れ．
SCoT（Arora+ 2025-10）
arXiv:2510.02066（CMU + Sony）
Streaming CoT：
入力ブロックごとに応答生成を交互実行
フレーム単位 alignment で
中間推論ターゲット（整列済み transcript +
応答）を構築
ブロック単位で推論しながら発話
Chronological Thinking（202510，SIGDIAL 2026）
arXiv:2510.05150
厳密に 因果的 + on-the-fly な推論
ユーザ発話中に semantic segment を
逐次処理
聴取窓で推論を償却 →
ユーザ発話終了後の追加遅延なしに発話開始
FLAIR / Silent Thought（202603）
arXiv:2603.17837
音声知覚と 同時並行に走る latent reasoning
明示的なテキスト CoT ではなく
潜在空間での思考
発話は遅延せず，内部で考える
🔑 2 層を外部モデルで分離（GPT-Live-1 流）せずに，モデル内部で CoT として走らせる方向．
📌 関連：Behavior Reasoning（2512.21706）— Graph-of-Thoughts で communicative intent と speech act を推論．／ Diffuplex（2610.17780）—
タイミングは自己回帰，中身は離散拡散．thinking mode で 1 パス約 13 tok．／ StepAudio 3 の Think-While-Speaking（2609.14005）も同系．
出典: SCoT / Chronological Thinking / FLAIR / Behavior Reasoning
S2S の次：tool call × 視覚 / 2026-10-26
35 / 36


# Page. 36

![Page Image](https://bcdn.docswell.com/page/DJYDP2LMJM.jpg)

Appendix: RAG と tool call の関係 — MoshiRAG
MoshiRAG（Kyutai, arXiv:2604.12928）を題材に，RAG と tool call がどう重なり，どう違うかを整理．
① Tool call（能動呼び出し）
モデルが構造化関数を 自分で発火
例： goto() , web_search() ,
function_calling
タイミング：モデルの判断
GPT-Live-1 / Qwen Audio 3.1
のパターン
MoshiRAG = ① + ② のハイブリッド
② Streaming injection（受動流入）
外部プロセスが 常時 or
非同期に文脈へ注入
例：KAME の第 4 oracle stream
タイミング：外側の判断
「待たない背景処理」
Trigger（tool call 的）：Moshi が retrieval token を発火して検索要請．
発動タイミングは「keyword delay」（応答開始〜キーファクト登場の時間差）
を活用．
③ Pre-context RAG（静的注入）
クエリ到着時に 1 回だけ retrieve →
prefix
従来の chatbot RAG
Full-duplex では「クエリ終端」がなく
不整合
Delivery（streaming injection 的）：検索結果を reference encoder
で埋め込み，学習可能な線形射影を通して 複数ステップに渡って Moshi
入力ストリームに加算注入．
アーキ：Moshi + streaming ASR（front）/ text-in text-out backend（retrieval 手法が再学習なしに差し替え可能）．結果：公開 non-duplex 音声モデル最良級の
factuality を全二重のまま達成．OOD 数学推論も可．
🔑 tool call の一種だが function calling とは別物（専用 token + 非同期の encoded context 注入）．実装：kyutai-labs/moshi-rag
S2S の次：tool call × 視覚 / 2026-10-26
36 / 36