---
title: LLMが読唇術？視覚音声認識最前線
tags:  #llm #vsr  
author: [Hiroaki Ogasawara](https://www.docswell.com/user/hiroga)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/GJWZ6X66J2.jpg?width=480
description: この資料では、視覚音声認識（VSR）やその関連研究の概要、特に大規模言語モデル（LLM）を用いた新たなアプローチについて説明します。デモを通じて、VSP-LLMやZero-AVSRといったモデルの具体的な性能や応用例を紹介し、従来の手法との比較や課題についても言及します。また、データセット作成の難しさや従来モデルへの依存度など、視覚情報の認識における現状についても考察します。
published: October 21, 25
canonical: https://www.docswell.com/s/hiroga/ZPG7JQ-2025-10-21-VSR-LLM
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/GJWZ6X66J2.jpg)

が読唇術？視覚音声認識
LLM
小笠原寛明 @ 松尾研LLMコミュニティ【Paper&amp;Hacks#62】
J. H. Yeo et al., “Where Visual Speech Meets Language: VSP-LLM Framework for Efficient and ContextAware Visual Speech Processing,”
J. H. Yeo et al., “Zero-AVSR: Zero-Shot Audio-Visual Speech Recognition with LLMs by Learning LanguageAgnostic Speech Representations,”
この資料を
で公開 しています。
GitHub


# Page. 2

![Page Image](https://bcdn.docswell.com/page/4EZ1Y6YR73.jpg)

自己紹介
小笠原寛明 (さわら)
2015年〜: 日本アイ・ビー・エム
2018年〜: 保険テックスタートアップにてソフトウ
ェアエンジニア/マネージャーなど
2024年〜: フリーランス、機械学習スタートアップ
で機械学習モデル・インフラ開発など
Webサイト: https://sawara.dev/
最新情報はSNSで発信しています。ぜひフォローく
ださい!
X (Twitter): @xhiroga
GitHub: @xhiroga
LinkedIn: @hiroga
VRChat: @hiroga
YouTube: @hiroga


# Page. 3

![Page Image](https://bcdn.docswell.com/page/Y76LD2D1JV.jpg)

目次
デモ
読唇術の研究とは？
視覚音声認識
視覚音声認識の応用
なぜLLMなのか？
Homophone / Viseme
データセット作成の難しさ
単なるマルチモーダルLLMとは違うのか？
視覚音声認識LLMの研究
VSP-LLM
Zero-AVSR
まとめ


# Page. 4

![Page Image](https://bcdn.docswell.com/page/G751323LE4.jpg)

デモ


# Page. 5

![Page Image](https://bcdn.docswell.com/page/9J21Z4Z37R.jpg)

VSP-LLM:
デモ (WebCam)
[1]
1. Sally-SH/VSP-LLM
を元に @xhirogaが開発 ↩︎


# Page. 6

![Page Image](https://bcdn.docswell.com/page/DEYZRMR87M.jpg)

読唇術の研究とは？


# Page. 7

![Page Image](https://bcdn.docswell.com/page/VJN3DWD9J8.jpg)

視覚音声認識
VSR (Visual Speech Recognition,
視覚音声認識) または V-ASR (Visual Automatic Speech Recognition) と呼ば
れる。
発話の映像のみを元に、発話内容を文字起こしするタスクを解く研究。
文字起こしした結果のWER (Word Error Rate, 単語誤り率) や CER (Character Error Rate, 文字誤り率)が低いほ
ど良い
関連する研究分野に、VST (Visual Speech Translation), ASR (Automatic Speech Recognition), AVSR (AudioVisual Speech Recognition)などがある。


# Page. 8

![Page Image](https://bcdn.docswell.com/page/YE99GXG3E3.jpg)

モデルの比較。多くのモデルで誤り率が25%以上であること、大量データが性能改善に効くこと、LLMを
用いたモデル（Ours = VALLR）は追加学習がわずかでも性能が高いことが分かる。
VSR
[1]
1. M. Thomas et al., “VALLR: Visual ASR Language Model for Lip Reading,” Mar. 27, 2025, arXiv:
arXiv:2503.21408. doi: 10.48550/arXiv.2503.21408. ↩︎


# Page. 9

![Page Image](https://bcdn.docswell.com/page/GE89V2VL7D.jpg)

の最先端モデルは軒並みWER10%を切っている ＝ 視覚情報のみから推測するVSRは難しい！
ASR
[1]
1. Srivastav et al., &quot;Open Automatic Speech Recognition Leaderboard&quot; ↩︎


# Page. 10

![Page Image](https://bcdn.docswell.com/page/LELW525QJR.jpg)

視覚音声認識の応用
甲状腺がんや咽頭がんなどによって声を失ってしまった方の発話のサポート
図書館のように静かな場所や、工事現場のように騒がしい場所での発話認識


# Page. 11

![Page Image](https://bcdn.docswell.com/page/4JM938RKEW.jpg)

視覚音声認識スタートアップ
: Liopa
医療現場に対して、限定された語彙から 以上の精度で視覚音声認識を行うサービスを展開していた
90%
年現在、Webサイトはクローズ状態
2025


# Page. 12

![Page Image](https://bcdn.docswell.com/page/PJRGQ5R6E9.jpg)

音声認識スタートアップ
: Whispp
ささやき声を補強して伝えるアプリを展開するスタートアップ
吃音を持つ方などでも、ささやき声であればリラックスできることがある、といった点に着目
[1]
1. https://whispp.com/ ↩︎


# Page. 13

![Page Image](https://bcdn.docswell.com/page/PEXX5KRDEX.jpg)

なぜLLMなのか？


# Page. 14

![Page Image](https://bcdn.docswell.com/page/3EKW65RDED.jpg)

Homophone / Viseme
口の形が同じでも、異なる音のことを Homophone (ホモフォン, 同口形異音) といいます。例えば、「p」と
「m」は口の形が同じです。
[1]
人間が言葉を話すときの口の形を、IPA（国際発音記号）のように分類したものをViseme（ビゼーム, 口形素,
視覚音素）と言います。ビゼームの数は15種類とされることが多いですが、より細かく分類する場合もありま
す。
口形素リファレンス.&quot; ↩︎
1. Meta, &quot;


# Page. 15

![Page Image](https://bcdn.docswell.com/page/L7316K8PJ5.jpg)

データセット作成の難しさ
読唇タスクのためのデータセットの作成には、音声認識のためのデータセット作成とは異なる難しさがありま
す。
映像データより音声データの方がファイルサイズが大きい場合が多い
映像データでは収録時に顔や部屋などが映ってしまうため、プライバシーの問題がより懸念される
一方、収録された音声にノイズが入っている場合などは、用途によっては許容できる場合もあります。


# Page. 16

![Page Image](https://bcdn.docswell.com/page/87DXV3M3EG.jpg)

単なるマルチモーダルLLMとは違うのか？: 実験
[1]
1. Try lip reading by Gemini 2.5 Pro (0/3) ↩︎


# Page. 17

![Page Image](https://bcdn.docswell.com/page/VJPPV4RPJ8.jpg)

単なるマルチモーダルLLMとは違うのか？: 回答
マルチモーダルLLMにもVSRタスクのための土台はあるが、そのままでは困難。
映像を3次元畳み込みしてから埋め込みを出力するという、大まかな構成はそのまま使える
実際には、口の形と音素（またはビゼーム）が一致するように学習する必要がある
既存のマルチモーダルLLMを追加学習してVSRに転用する研究はまだほとんどない
したがって、VSRの研究では音声認識の事前学習済みモデル（＋LLMなど文字起こしバックエンド）を用いる
ことが多い！
後ほど視覚音声認識モデルであるAV-HuBERTのデモをします。


# Page. 18

![Page Image](https://bcdn.docswell.com/page/2EV2ZXRVEQ.jpg)

なぜLLMなのか？
数千〜数万時間の学習が必要な既存手法と比較して、LLMの知識を活かすことで1/10以下の学習時間に抑える
ことが可能と見込まれるため。
[1]
1. M. Thomas et al., “VALLR: Visual ASR Language Model for Lip Reading,” Mar. 27, 2025, arXiv:
arXiv:2503.21408. doi: 10.48550/arXiv.2503.21408. ↩︎


# Page. 19

![Page Image](https://bcdn.docswell.com/page/57GR4VM1EL.jpg)

視覚音声認識LLMの研究


# Page. 20

![Page Image](https://bcdn.docswell.com/page/4EQVG6RNJP.jpg)

視覚音声認識LLMの研究の一部を表にまとめました。VSRとAVSRのどちらもあります。⭐️ マークが本日扱う論文です。
論文
公開年月 種類 特徴
⭐️
と
を初めて接続
VSP-LLM
2024-05
VSR
AV-HuBERT Llama
Personalized Lip Reading
2024-09
VSR
自前のエンコーダーを話者別にLoRA可能に
Llama-AVSR
2024-09
AVSR
音声と視覚それぞれの特徴をトークン化しLlamaに入力
Zero-AVSR
⭐️
2025-03
AVSR
ローマ字を経由することで制御しやすく
MMS-LLaMA
2025-03
AVSR
視覚音声の特徴を合成後にトークン化することで計算量削減
VALLR
2025-03
VSR
自前エンコーダーから音素を予測しLlamaに入力
PV-ASR
2025-07
VSR
自前エンコーダーと口ランドマークの特徴を合成
1.
スライド末尾「参考文献」を参照ください。 ↩︎
[1]


# Page. 21

![Page Image](https://bcdn.docswell.com/page/KJ4M5483E1.jpg)

Where Visual Speech Meets Language: VSP-LLM
Framework for Efficient and Context-Aware Visual
Speech Processing
[1]
1. J. H. Yeo et al., “Where Visual Speech Meets Language: VSP-LLM Framework for Efficient and ContextAware Visual Speech Processing,” May 14, 2024, arXiv: arXiv:2402.15151. doi:
10.48550/arXiv.2402.15151. ↩︎


# Page. 22

![Page Image](https://bcdn.docswell.com/page/LE18W42Z7G.jpg)

問題設定
の能力を に活かすことはできないのか？
VSP-LLM:
LLM
VSR
訓練データがわずかでも、LLMの能力を使えば十分な性能を発揮できるか？


# Page. 23

![Page Image](https://bcdn.docswell.com/page/GEWZ6XR6E2.jpg)

における貢献
視覚的音声モデリングを と統合し、 と で最先端のパフォーマンスを達成した最初の研究
VSP-LLM: VSR
1.
2.
LLM
VSR VST
連続するフレームをまとめるにあたって、機械的に間隔を設けるのではなく、埋め込みの特徴に応じて kmeans でクラスタリング


# Page. 24

![Page Image](https://bcdn.docswell.com/page/47Z1Y6RRJ3.jpg)

VSP-LLM:
手法
[1]
1. J. H. Yeo et al., “Where Visual Speech Meets Language: VSP-LLM Framework for Efficient and ContextAware Visual Speech Processing,” ↩︎


# Page. 25

![Page Image](https://bcdn.docswell.com/page/YJ6LD2R1EV.jpg)

VSP-LLM:
擬似コード
映像の特徴, クラスタIDごとの連続するフレーム数, LLMへのインストラクションがモデルへの入力になってい
ます
vsp_llm.generate({
&quot;source&quot;: {
&quot;audio&quot;: None,
&quot;video&quot;: torch.Tensor,
&quot;cluster_counts&quot;: [1, 3, 2, 1, 4, 1, 1, 1, 3, 1, 2],
&quot;text&quot;: some_instruction,
},
&quot;padding_mask&quot;: torch.Tensor,
&quot;text_attn_mask&quot;: torch.Tensor,
})


# Page. 26

![Page Image](https://bcdn.docswell.com/page/GJ51328L74.jpg)

が出力する埋め込みを眺める
AV-HuBERT
[1]
1. B. Shi et al., “Learning Audio-Visual Speech Representation by Masked Multimodal Cluster Prediction,”
@xhiroga
↩︎
元に
が開発
を


# Page. 27

![Page Image](https://bcdn.docswell.com/page/9E21Z4K3JR.jpg)

と他のVSR手法の比較。LLMを用いたことで、自己教師あり学習のモデルでは最高性能。教師あり学
習と比較しても平均的性能。
VSP-LLM
[1]
1. J. H. Yeo et al., “Where Visual Speech Meets Language: VSP-LLM Framework for Efficient and ContextAware Visual Speech Processing,” ↩︎


# Page. 28

![Page Image](https://bcdn.docswell.com/page/D7YZRMN8JM.jpg)

VSP-LLM:
デモ (LRS3)
[1]
1. Sally-SH/VSP-LLM
を元に @xhirogaが開発 ↩︎


# Page. 29

![Page Image](https://bcdn.docswell.com/page/VEN3DWX9E8.jpg)

【再掲】VSP-LLM: デモ (WebCam)
[1]
1. Sally-SH/VSP-LLM
を元に @xhirogaが開発 ↩︎


# Page. 30

![Page Image](https://bcdn.docswell.com/page/Y799GX8373.jpg)

考察
そのものの性能の差を強く感じました
VSP-LLM:
LLM
なので、暴走して同じ単語がずっと繰り返されることもあります
AV-HuBERTの埋め込みをLLMに入力する際、
「クラスタリング + 平均の計算」は二度手間に感じます
クラスタリングできるくらい似ているなら、平均を計算する必要がないのでは？
実際、後続の研究では、事前に計算した代表値を用いることがあります
標準的なデータセットでの性能が高い一方で、Webカメラでの撮影など現実世界での利用にはまだまだ弱
そうです
Llama2


# Page. 31

![Page Image](https://bcdn.docswell.com/page/G789V28LJD.jpg)

Zero-AVSR: Zero-Shot Audio-Visual Speech
Recognition with LLMs by Learning LanguageAgnostic Speech Representations[1]
1. J. H. Yeo, M. Kim, C. W. Kim, S. Petridis, and Y. M. Ro, “Zero-AVSR: Zero-Shot Audio-Visual Speech
Recognition with LLMs by Learning Language-Agnostic Speech Representations,” July 21, 2025, arXiv:
arXiv:2503.06273. doi: 10.48550/arXiv.2503.06273. ↩︎


# Page. 32

![Page Image](https://bcdn.docswell.com/page/L7LW52RQER.jpg)

問題設定
従来の音声・視覚認識モデルは、学習した言語に依存している
Zero-AVSR:
従来の多言語音声・視覚認識のデータセットは、わずかな種類の言語にしか対応していない


# Page. 33

![Page Image](https://bcdn.docswell.com/page/4EM938PK7W.jpg)

mTEDx:
[1]
英語以外の8言語に対応


# Page. 34

![Page Image](https://bcdn.docswell.com/page/PERGQ51679.jpg)

MuAViC:
英語を含む9言語に対応。LRS3やmTEDxなどからなる。
[1]
1. M. Anwar et al., “MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust
Speech-to-Text Translation,” ↩︎


# Page. 35

![Page Image](https://bcdn.docswell.com/page/P7XX5KYD7X.jpg)

貢献
データセットの提案
Zero-AVSR:
MARC
のアーキテクチャにおける言語間の転移学習のポテンシャル実証
ローマ字を挟むことで可視性能を上げる工夫
AV-HuBERT &amp; Llama


# Page. 36

![Page Image](https://bcdn.docswell.com/page/37KW653D7D.jpg)

Zero-AVSR:
手法 (MARCデータセット)
元になるデータ
時間, 英語, ラベルあり)
MuAViC(1,200時間, 9言語, ラベルあり)
VoxCeleb2(2,442時間, 多言語, ラベルなし)
AVSpeech(4,700時間, 多言語, ラベルなし)
LRS3(433
ローマ字化した文字起こしを提案
der puls und der blutdruck steigen
→der|puls|
und|der|blutdruck|steigen|
vielen dank
→vielen|dank|


# Page. 37

![Page Image](https://bcdn.docswell.com/page/LJ316KGPE5.jpg)

Zero-AVSR:
手法 (Cascaded Zero-AVSR)
[1]
1. J. H. Yeo, M. Kim, C. W. Kim, S. Petridis, and Y. M. Ro, “Zero-AVSR: Zero-Shot Audio-Visual Speech
Recognition with LLMs by Learning Language-Agnostic Speech Representations,” ↩︎


# Page. 38

![Page Image](https://bcdn.docswell.com/page/8JDXV3137G.jpg)

を実装する前に、利用するLLMを実験で決めています。GPT-4o-miniの性能がLlamaに対
して良いことが分かります。
Cascaded Zero-AVSR
[1]
1. J. H. Yeo et al., “Zero-AVSR: Zero-Shot Audio-Visual Speech Recognition with LLMs by Learning LanguageAgnostic Speech Representations,” ↩︎


# Page. 39

![Page Image](https://bcdn.docswell.com/page/VEPPV4QPE8.jpg)

Zero-AVSR:
手法 (Directly Integrated Zero-AVSR)
[1]
1. J. H. Yeo et al., “Zero-AVSR: Zero-Shot Audio-Visual Speech Recognition with LLMs by Learning LanguageAgnostic Speech Representations,” ↩︎


# Page. 40

![Page Image](https://bcdn.docswell.com/page/27V2ZX5V7Q.jpg)

と複数のAVSRモデルの比較。あらかじめ多言語で訓練されたAVSRモデル（上4つ）と、ターゲ
ット言語での追加学習をしていないとされる（＝ゼロショット）モデル（下3つ）の比較。
実際には、提案手法におけるローマ字化モジュールの学習で多言語を用いているほか、Llamaの事前学習で
も用いられているはずなので、ゼロショットの定義が気になるが…
Zero-AVSR
[1]
1. J. H. Yeo et al., “Zero-AVSR: Zero-Shot Audio-Visual Speech Recognition with LLMs by Learning LanguageAgnostic Speech Representations,” ↩︎


# Page. 41

![Page Image](https://bcdn.docswell.com/page/5JGR4V617L.jpg)

Zero-AVSR:
デモ (MuAViC)
[1]
1. JeongHun0716/zero-avsr
を元に @xhirogaが開発 ↩︎


# Page. 42

![Page Image](https://bcdn.docswell.com/page/47QVG64NEP.jpg)

Zero-AVSR:
デモ (WebCam)
[1]
1. JeongHun0716/zero-avsr
を元に @xhirogaが開発 ↩︎


# Page. 43

![Page Image](https://bcdn.docswell.com/page/KE4M54Q371.jpg)

Zero-AVSR:
考察と
引き続き AV-HuBERT Llama の偉大さがわかる論文
AV-HuBERTからローマ字を経由してLlamaに入力している…と思わせて、最終的なアーキテクチャでは AVHuBERTの埋め込みを長さだけ調整してそのまま用いている
つまり、そこまでローマ字は関係ない（開発・運用時には確実に便利）
個人的には、多言語データセットの学習でAV-HuBERTの既存重みが大きく変わった = 学習時間でスケール
する余地がある、という学びの方が多かった


# Page. 44

![Page Image](https://bcdn.docswell.com/page/L718W4PZJG.jpg)

Zero-AVSR:
もっと知りたい
https://zenn.dev/hiroga/articles/zero-avsr-eval


# Page. 45

![Page Image](https://bcdn.docswell.com/page/G7WZ6X2672.jpg)

まとめ
読唇術（視覚音声認識タスク）について、独自アーキテクチャではなく を組み込む手法の開発が進んで
います
映像をエンコードするためのさまざまな手法が提案されています
音素やローマ字を用いて制御性を上げる工夫も見られます
LLM


# Page. 46

![Page Image](https://bcdn.docswell.com/page/4JZ1Y6DRE3.jpg)

参考文献 (VSR/AVSR + LLM) #1
J. H. Yeo et al., “Where Visual Speech Meets Language: VSP-LLM Framework for Efficient and ContextAware Visual Speech Processing,” May 14, 2024, arXiv: arXiv:2402.15151. doi:
10.48550/arXiv.2402.15151.
J. H. Yeo et al., “Personalized Lip Reading: Adapting to Your Unique Lip Movements with Vision and
Language,” Jan. 01, 2025, arXiv: arXiv:2409.00986. doi: 10.48550/arXiv.2409.00986.
U. Cappellazzo et al., “Large Language Models are Strong Audio-Visual Speech Recognition Learners,”
Mar. 07, 2025, arXiv: arXiv:2409.12319. doi: 10.48550/arXiv.2409.12319.


# Page. 47

![Page Image](https://bcdn.docswell.com/page/YE6LD2117V.jpg)

参考文献 (VSR/AVSR + LLM) #2
J. H. Yeo et al., “Zero-AVSR: Zero-Shot Audio-Visual Speech Recognition with LLMs by Learning LanguageAgnostic Speech Representations,” July 21, 2025, arXiv: arXiv:2503.06273. doi:
10.48550/arXiv.2503.06273.
J. H. Yeo et al., “MMS-LLaMA: Efficient LLM-based Audio-Visual Speech Recognition with Minimal
Multimodal Speech Tokens,” June 05, 2025, arXiv: arXiv:2503.11315. doi: 10.48550/arXiv.2503.11315.
M. Thomas et al., “VALLR: Visual ASR Language Model for Lip Reading,” Mar. 27, 2025, arXiv:
arXiv:2503.21408. doi: 10.48550/arXiv.2503.21408.
M. K. K. Teng et al., “Phoneme-Level Visual Speech Recognition via Point-Visual Fusion and Language
Model Reconstruction,” July 25, 2025, arXiv: arXiv:2507.18863. doi: 10.48550/arXiv.2507.18863.


# Page. 48

![Page Image](https://bcdn.docswell.com/page/GE51324LJ4.jpg)

参考文献 (Base Model, Datasets, Survey)
B. Shi et al., “Learning Audio-Visual Speech Representation by Masked Multimodal Cluster Prediction,”
Mar. 13, 2022, arXiv: arXiv:2201.02184. doi: 10.48550/arXiv.2201.02184.
E. Salesky et al., “The Multilingual TEDx Corpus for Speech Recognition and Translation,” June 15, 2021,
arXiv: arXiv:2102.01757. doi: 10.48550/arXiv.2102.01757.
M. Anwar et al., “MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust
Speech-to-Text Translation,” Mar. 07, 2023, arXiv: arXiv:2303.00628. doi: 10.48550/arXiv.2303.00628.
K. Rezaee and M. Yeganeh, “Automatic Visual Lip Reading: A Comparative Review of Machine-Learning
Approaches,” Results in Engineering, p. 107171, Sept. 2025, doi: 10.1016/j.rineng.2025.107171.


