---
title: 基底変形型教師ありNMFによる実楽器信号分離 (in Japanese)
tags:  #nmf #source separation #music  
author: [Daichi Kitamura](https://www.docswell.com/user/d-kitamura)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/5GE8GGK5ED.jpg?width=480
description: Presented at IEICE EA conderence (domestic conference) 北村大地, 猿渡洋, 鹿野清宏, 近藤多伸, 高橋祐, &quot;基底変形型教師ありNMFによる実楽器信号分離,&quot; IEICE Technical Report, EA2012-121, vol.112, no.388, pp.13-18, Kyoto, January 2013.
published: March 19, 15
canonical: https://www.docswell.com/s/d-kitamura/5WM3PK-2022-03-15-182523
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/5GE8GGK5ED.jpg)

基底変形型教師あり NMF による
実楽器信号分離
Signal separation for real instruments based on
supervised NMF with basis deformation
奈良先端科学技術大学院大学
北村大地 猿渡洋 鹿野清宏
ヤマハ株式会社
近藤多伸 高橋祐


# Page. 2

![Page Image](https://bcdn.docswell.com/page/MLELGGZ37R.jpg)

研究背景
• 複数の楽器が多重に混合された音楽信号の
中から，特定の楽器音を分離・抽出する技術
は，一般に多重音解析と呼ばれる
• ユーザの好み応じて各楽器音を編集する新
しい音楽の楽しみ方や，音楽信号の自動採
譜等に応用できる重要な技術
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/54JMQQVMEW.jpg)

研究背景
• 多重音解析に用いられる技術の一つとして，
非負値行列因子分解がある [Lee, 1999]
• 効率的な反復アルゴリズムが提案され，画像
処理，音響信号処理等様々な分野に応用さ
れる
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/ZPJR882LE9.jpg)

…
Frequency [Hz]
Nonnegative Matrix Factorization (NMF)
…
Time [sec]
頻出スペクトル
…
…
各スペクトルの
タイミングと音量
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/NPEX88P67X.jpg)

…
Frequency [Hz]
Nonnegative Matrix Factorization (NMF)
…
スペクトル基底行列
Time [sec]
…
…
アクティベーション行列
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/63EKKKDGED.jpg)

罰則条件付き教師あり NMF [八木, 2010]
• 分離する楽器の教師音を用いる手法
学習プロセス
目的の楽器の教師音を
用いて学習した基底
分離プロセス
教師基底
を固定して
を構成
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/4L73ZZR575.jpg)

罰則条件付き教師あり NMF [八木, 2010]
• 分離する楽器の教師音を用いる手法
学習プロセス
目的の楽器の教師音を
用いて学習した基底
分離プロセス
教師基底
を固定して
を構成
から再構成した
スペクトログラムが分離結果
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/V87DRRYYEG.jpg)

罰則条件付き教師あり NMF [八木, 2010]
• 教師基底 とその他の基底
関となる罰則条件を与える
が互いに無相
に教師基底 と同じスペクトル
パターンが現れた場合，
から
得られる抽出音に欠損が生じる
Ex.
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/4VJPWW62E8.jpg)

実楽器音を対象とした NMF の信号分離
• 本研究では，実楽器の混合信号から目的の
楽器音を分離する
• 従来手法では，混合信号中の目的楽器音と
教師音の音色に差があると分離精度が著しく
劣化する
実楽器の混合信号
教師音
分離音
信号分解
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/L2EV883XEQ.jpg)

実楽器音を対象とした NMF の信号分離
• 本研究では，実楽器の混合信号から目的の
楽器音を分離する
• 従来手法では，混合信号中の目的楽器音と
教師音の音色に差があると分離精度が著しく
劣化する
実楽器の混合信号
教師音
音色に差があると
分離精度が低下
分離音
信号分解
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/Z57G553R7L.jpg)

実楽器音を対象とした NMF の信号分離
• 同じ種類の楽器であっても，音色は楽器の個
体差や演奏者などに強く依存
• 事前に入手可能な教師音を分離対象音に適
応させる新たな分解手法が必要
事前入手可能な教師音
分離対象音
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/V4EQZZ5YEP.jpg)

基底変形型教師あり NMF
• 次のような分解を提案する
Amplitude
• 教師基底 の変形項として，共通のアクティ
ベーション を持つスペクトル基底 を導入
• 教師基底 を変形して目的音に合わせる
目的音のスペクトル
教師音のスペクトル
減算
加算
を
分離結果とする
Frequency
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/DKJ4339Z71.jpg)

基底変形型教師あり NMF
• 基底 は加算と減算に対応した変形項
•
は以下の制約下で正負値を持つ
•
は教師基底
に対する減算の許容範囲
の場合
減算
30%まで
減算可能
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/PLE111KDEG.jpg)

基底変形型教師あり NMF
• 基底 は，教師基底 と同じアクティベー
ション を持つため，分離目的音と同じタイミ
ングで生じる別の楽器のスペクトルが現れる
恐れがある
目的音
非目的音
と と が
全て別の基底
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/8GEW88D8J2.jpg)

基底変形型教師あり NMF
• 基底 は，教師基底 と同じアクティベー
ション を持つため，分離目的音と同じタイミ
ングで生じる別の楽器のスペクトルが現れる
恐れがある
目的音
非目的音
同じタイミングで生じる別の楽器
が，基底 に現れる恐れがある
と と が
全て別の基底
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/W47Z88G9E3.jpg)

基底変形型教師あり NMF 目的関数
• 目的関数
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/KYJ6PPYD7V.jpg)

基底変形型教師あり NMF 更新式導出
• 通常の NMF の更新式導出と同様に補助関
数法を用いる
• 目的関数 の上限を与える補助関数 を以
下のように定義
•
と
はそれぞれ対数項と罰則項の
上限， は定数
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/5GJ5KKG8E4.jpg)

基底変形型教師あり NMF 更新式導出
• 補助関数 を最小化することで，間接的に
目的関数 を最小化
• 基底 の更新式を導出するために を
で偏微分し とおくと以下の式を得る
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/4LE3ZZRGE5.jpg)

基底変形型教師あり NMF 更新式導出
• 補助関数 を最小化することで，間接的に
目的関数 を最小化
• 基底 の更新式を導出するために を
で偏微分し とおくと以下の式を得る
正負の値を持つ
19


# Page. 20

![Page Image](https://bcdn.docswell.com/page/V8EDRRYNJG.jpg)

基底変形型教師あり NMF 更新式
基底行列
更新式 (一般化 KL divergence 規準)
20


# Page. 21

![Page Image](https://bcdn.docswell.com/page/4V7PWW6NJ8.jpg)

基底変形型教師あり NMF 更新式
基底行列
更新式 (一般化 KL divergence 規準)
21


# Page. 22

![Page Image](https://bcdn.docswell.com/page/L2JV883YJQ.jpg)

基底変形型教師あり NMF 更新式
アクティベーション行列
更新式
(一般化 KL divergence 規準)
22


# Page. 23

![Page Image](https://bcdn.docswell.com/page/Z5EG553WEL.jpg)

基底変形型教師あり NMF 実験条件
教師基底数
実録の Fl. と Cl. の 2 楽器の等パワー混合信号
Fl. と Cl.の MIDI 音
入力信号の音域をカバーする範囲において
半音階で2オクターブ上昇する信号
窓関数： 矩形 → ハニング
窓長： 92.9 msec, シフト長: 46.4 msec
100
その他基底数
50
入力信号
教師信号
STFT
変形許容範囲
0.3
更新回数
学習プロセス：500, 分離プロセス：400
各行列の初期値
乱数
各罰則項の重み
実験的に調整した値
分離精度評価値
SDR, SIR, SAR (10回試行の平均値)
23


# Page. 24

![Page Image](https://bcdn.docswell.com/page/V4JQZZ5QJP.jpg)

客観的評価尺度
• 分離した推定信号が次式で表現できると仮
定する
SDR ：分離した目的音の品質
SIR ：分離した目的音と非目的音との分離度合
SAR ：一連の信号処理によって生じた歪みの少なさ
高いほうが
良い分離
24


# Page. 25

![Page Image](https://bcdn.docswell.com/page/DK74339YE1.jpg)

基底変形型教師あり NMF 分離実験
• 実験結果の比較
入力信号
分離
目的音
Flute
Clarinet
SDR ：分離した目的音の品質
SIR ：分離した目的音と非目的音との分離度合
SAR ：一連の信号処理によって生じた歪みの少なさ
従来手法
SDR
SIR
SAR
5.3
13.4
6.2
7.2
21.1
7.4
提案手法
SDR
SIR
SAR
7.6
16.4
8.4
8.9
16.9
9.9
• Fl. の分離では，全ての評価値が向上
• Cl. の分離では，SDR と SAR が向上したが，
SIR は低下
• 提案手法の分離信号はより実音に近い
25


# Page. 26

![Page Image](https://bcdn.docswell.com/page/PLJ111KNJG.jpg)

基底変形型教師あり NMF 分離実験
Fl. と Cl. の混合信号
Fl. のみの真の信号
従来法の Fl. 抽出信号
提案法のFl. 抽出信号
26


# Page. 27

![Page Image](https://bcdn.docswell.com/page/8GJW88PM72.jpg)

まとめと今後
• 教師音を用いた実楽器音の音源分離手法と
して，基底変形型教師あり NMF を提案
• 提案法は従来法より優れた分離を実現し，よ
り実音に近い自然な分離音が得られる
• 様々な実楽器に適応して分離精度を比較
• 罰則項の重みパラメータの最適値推定方法
の検討
• マルチチャネル信号分解への応用
27


