---
title: 動画の無音部分を自動でカットする 〜 MLと波形解析のハイブリッド音声処理 〜
tags:  #ios #coreml #swift #soundanalysis #avfoundation #音声処理 #動画処理 #ml  
author: [Shuichi Tsutsumi](https://www.docswell.com/user/shu223)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/37KQ163D7D.jpg?width=480
description: Kanagawa.swift #1 での発表資料です。 https://kanagawaswift.connpass.com/event/332163/
published: November 03, 24
canonical: https://www.docswell.com/s/shu223/5MXLJX-chopper
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/37KQ163D7D.jpg)

動画の無音部分を自動で
カットする
〜 MLと波形解析のハイブリッド音声処理 〜


# Page. 2

![Page Image](https://bcdn.docswell.com/page/LJ3PQ6GP75.jpg)

自己紹介
• 堤 修一
• @shu223 (GitHub, Zenn, Qiita, note, Docswell, 𝕏, YouTube,
Podcast, etc...)
• 書籍（商業出版4冊、個人出版多数 @BOOTH）:


# Page. 3

![Page Image](https://bcdn.docswell.com/page/8JDL9V137G.jpg)

最近書いた本
エンジニアのための「労働集
約からの脱却」入門
zenn.dev/shu223/books/
monetization


# Page. 4

![Page Image](https://bcdn.docswell.com/page/VEP2ZVQPE8.jpg)

Kanagawaとの関係
今年2月に鎌倉に移住
• 10年前にも3年ほど住んでいた（小
町・雪ノ下）
• 材木座
• 駅まで徒歩23分
• 最寄りのコンビニまで徒歩15分
• 海まで徒歩4分


# Page. 5

![Page Image](https://bcdn.docswell.com/page/27VDWZ5V7Q.jpg)

FAQ: 鎌倉って観光で行くイメージしかないけど住むってどうなの？
A: 最高
• 海も山も街もある
• 散歩してるだけで楽しい
• 観光客多いのは小町・由
比ヶ浜・長谷など一部
• 材木座は由比ヶ浜より落ち
着いていて40代後半の子育
て世代にはちょうどいい
• 都心よりは安い
• 2LDK + 作業用1K → 一
軒家になって家賃は4割
減
• 地方よりは東京に出やすい


# Page. 6

![Page Image](https://bcdn.docswell.com/page/5JGYD461JL.jpg)

本題


# Page. 7

![Page Image](https://bcdn.docswell.com/page/47QM1G4NEP.jpg)

話すこと
動画の無音部分を自動でカットする処理のiOSでの実装方法


# Page. 8

![Page Image](https://bcdn.docswell.com/page/KE4VR5Q371.jpg)

無音部分のカット？
• 人が話している部分「以外」をカットしたい
• いわゆるジェットカット


# Page. 9

![Page Image](https://bcdn.docswell.com/page/L713QWPZEG.jpg)

さっそくデモ


# Page. 10

![Page Image](https://bcdn.docswell.com/page/G7WPM626E2.jpg)

Chopper
AIで人の声を抽出して動画の無音を自動
でカットするアプリ
• 2021年リリース
• 2023年に有料化
• そこそこ売れている


# Page. 11

![Page Image](https://bcdn.docswell.com/page/4JZKQYDRJ3.jpg)

Before
After
300秒
145秒（52%カット）


# Page. 12

![Page Image](https://bcdn.docswell.com/page/YE6Q6D11EV.jpg)

Before
After
34秒
26秒（24%カット）


# Page. 13

![Page Image](https://bcdn.docswell.com/page/GE5R634LJ4.jpg)

動画の無音カット処理全体の流れ
入力
→ 音声抽出
→ 発話区間検出
→ 入力動画の発話区間以外をカット
→ 出力


# Page. 14

![Page Image](https://bcdn.docswell.com/page/972DMZV37R.jpg)

動画の無音カット処理全体の流れ
入力
→ 音声抽出
→ 発話区間検出
→ 入力動画の発話区間以外をカット
→ 出力


# Page. 15

![Page Image](https://bcdn.docswell.com/page/DJY2XR38JM.jpg)

「発話区間検出」をどう実現するか？


# Page. 16

![Page Image](https://bcdn.docswell.com/page/V7N81DV9E8.jpg)

「音のありなし」で判定すればいい？


# Page. 17

![Page Image](https://bcdn.docswell.com/page/YJ9K5G63J3.jpg)

→ 周りがガヤガヤしてたり車の音が入
ってたりしてるだけでもう発話と区別で
きない


# Page. 18

![Page Image](https://bcdn.docswell.com/page/GJ8RYVZL7D.jpg)

→ MLで「人の声」を判定する


# Page. 19

![Page Image](https://bcdn.docswell.com/page/LJLK45DQ7R.jpg)

Sound Analysisフレームワーク
• MLベースの音声分類
• iOS 13 / WWDC19 で登場
•
当時書いた記事： SoundAnalysis + Create MLで話者認識 - Qiita


# Page. 20

![Page Image](https://bcdn.docswell.com/page/47M2K3WK7W.jpg)

音声分類（Sound Classification）


# Page. 21

![Page Image](https://bcdn.docswell.com/page/P7RMXQY6J9.jpg)

実装
// アナライザを初期化
let audioFileAnalyzer = try SNAudioFileAnalyzer(url: url)
// MLModelオブジェクトを渡してリクエストを作成
let request = try SNClassifySoundRequest(mlModel: mlmodel)
// リクエストをアナライザに追加
try audioFileAnalyzer.add(request, withObserver: self)
// 解析開始
audioFileAnalyzer.analyze()


# Page. 22

![Page Image](https://bcdn.docswell.com/page/PJXV65GDEX.jpg)

デモ： Sound Analysisを用
いた話者認識
• WWDC19のキャッチアップイベント
用につくったデモ
• 人物ごとの音声を学習したモデルを
Create MLで作成


# Page. 23

![Page Image](https://bcdn.docswell.com/page/3JKQ164DJD.jpg)

Sound Analysisを用いた発話区間検出 ver. 1
• Human / Background の音
声分類を行うカスタム
Sound Classificationモデル
を使用
• 分類性能はそこそこ


# Page. 24

![Page Image](https://bcdn.docswell.com/page/LE3PQ6LPJ5.jpg)

Sound Analysisを用いた発話区間検出 ver. 2
• iOS 15 / WWDC21でビルトイン（システム組み込み）の音声
分類器が利用可能に（それまではモデルを自作するしかなかった）
• 約300種類の音声を判別可能
• その中に &quot;speech&quot; も
• 分類性能は以前のカスタムモデルと比較して大幅に向上
• 解説記事： Sound Analysisのビルトイン音声分類器


# Page. 25

![Page Image](https://bcdn.docswell.com/page/8EDL9VN3JG.jpg)



# Page. 26

![Page Image](https://bcdn.docswell.com/page/V7P2ZV5P78.jpg)

実装方法
以前とほぼ同じ
let audioFileAnalyzer = try SNAudioFileAnalyzer(url: url)
// ここだけが新しい
let request = try SNClassifySoundRequest(classifierIdentifier: .version1)
try audioFileAnalyzer.add(request, withObserver: self)
audioFileAnalyzer.analyze()


# Page. 27

![Page Image](https://bcdn.docswell.com/page/2JVDWZPVJQ.jpg)

Chopperにおける発話区間検出の細かい話 1
&quot;speech&quot; 以外にも、「人の発話」として検出したいクラスを拾
っている
• 笑い声系 &quot;laughter&quot;, &quot;belly_laugh&quot;, &quot;giggling&quot;, ...
• 表現系 ”singing”, &quot;humming&quot;, &quot;whispering&quot;, &quot;breathing&quot;, ...
etc...


# Page. 28

![Page Image](https://bcdn.docswell.com/page/5EGYD4P1EL.jpg)

Chopperにおける発話区間検出の細かい話 2
1位にspeechが来てたら発話区間、みたいな単純な話でもな
く、精度向上のため秘伝のタレ的なロジック調整を色々と行っ
ている
• 順位関係なく、発話クラスのConfidence（確信度）ベースで
判定している
• Confidenceのヒストグラムから、カットレベルLow, Mid,
Highの閾値を動的に決定
• 発話が断片的にならないよう、連続性も見ている


# Page. 29

![Page Image](https://bcdn.docswell.com/page/4JQM1G2N7P.jpg)

However


# Page. 30

![Page Image](https://bcdn.docswell.com/page/K74VR5L3J1.jpg)

MLは完璧じゃない
普通に無音なところも検出できないことがある


# Page. 31

![Page Image](https://bcdn.docswell.com/page/LJ13QWLZ7G.jpg)

MLは完璧じゃない
普通に無音なところも検出できないことがある
→ 波形処理ベースの無音区間判定も併用


# Page. 32

![Page Image](https://bcdn.docswell.com/page/GJWPM6V672.jpg)

iOSにおける音声波形処理
• 音声はAVFoudationで扱う（AVAudioPCMBuffer）
• 音声波形処理
デジタル信号処理には Accelerateフレームワ
ークの vDSP を使用する
解説記事： AVAudioPCMBufferの取り扱いメモ｜shu223


# Page. 33

![Page Image](https://bcdn.docswell.com/page/4EZKQY4RE3.jpg)

RMS（root mean square, 二乗平均平方根）
• 音圧を表す指標
• 単位時間ごとに計測され
た音量を計算する


# Page. 34

![Page Image](https://bcdn.docswell.com/page/Y76Q6D317V.jpg)

RMS計算の実装
絶対値の平均を計算してもいいが、Accelerateフレームワークの
vDSP_measqv 関数を利用して一行で書ける
rms
static func rms(data: UnsafeMutablePointer&lt;Float&gt;, frameLength: UInt) -&gt; Float {
var val : Float = 0
vDSP_measqv(data, 1, &amp;val, frameLength)
}
rms
return val
公式ドキュメントに記載されている vDSP_measqv 関数の計算式は、 C[0] = sum(A[n] * A[n], 0 &lt;= n &lt; N) /
N; ・・・つまり出力される値は二乗されたものであって、最後に平方根を取る計算はこの関数では行われない。


# Page. 35

![Page Image](https://bcdn.docswell.com/page/G75R63LLE4.jpg)

RMSを用いてどのように無音カットするか？
Logic Proと同等のパラメータ構成で実装（単純な閾値処理ではない）
public struct Configuration: Equatable, Hashable {
public init() {}
/// 閾値（デシベル）
public var threshold: Int = ...
/// 無音として扱う最低限の時間
public var minDuration: Double = ...
/// カットし始める部分の長さに余裕を持たせる
public var preAttackTime: Double = ...
/// カットし終わる部分の長さに余裕を持たせる
}
public var postReleaseTime: Double = ...


# Page. 36

![Page Image](https://bcdn.docswell.com/page/9J2DMZL3JR.jpg)

まとめ
弊アプリでは、動画の自動無音カットのため以下2つの方法をハ
イブリッドで使用：
• MLベースの発話区間検出
• Sound Analysis のビルトイン音声分類器を利用
• 音声波形処理ベースの無音区間検出
• AVFoundation / Accelerate を利用


# Page. 37

![Page Image](https://bcdn.docswell.com/page/DEY2XRQ8EM.jpg)

Chopper - 動画の無音部分を自動でカット
apps.apple.com/jp/app/id1560947520
⭐⭐⭐⭐⭐
いただけると大変うれしいです


