---
title: Evaluation of separation accuracy for various real instruments based on supervised NMF with basis deformation (in Japanese)
tags:  #nmf #source separation #music  
author: [Daichi Kitamura](https://www.docswell.com/user/d-kitamura)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/KY76PW3DEV.jpg?width=480
description: Presented at 2013 Spring Meeting of Acoustical Society of Japan (domestic conference) Daichi Kitamura, Hiroshi Saruwatari, Kiyohiro Shikano, Kazunobu Kondo, Yu Takahashi, &quot;Evaluation of separation accuracy for various real instruments based on supervised NMF with basis deformation,&quot; Proceedings of 2013 Spring Meeting of Acoustical Society of Japan, 3-1-11, pp.1057-1060, Tokyo, March 2013.
published: March 18, 15
canonical: https://www.docswell.com/s/d-kitamura/ZJQ6XK-2022-03-15-083053
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/KY76PW3DEV.jpg)

種々の実楽器信号に対する
基底変形型教師あり NMF の分離精度評価
Evaluation of Separation Accuracy for Various Real Instruments
Based on Supervised NMF with Basis Deformation
奈良先端科学技術大学院大学
☆北村大地, 猿渡洋, 鹿野清宏
ヤマハ株式会社
近藤多伸, 高橋祐


# Page. 2

![Page Image](https://bcdn.docswell.com/page/5G75KML8J4.jpg)

研究背景
• 複数の楽器が多重に混合された音楽信号の
中から，特定の楽器音を分離・抽出する技術
は，一般に多重音解析と呼ばれる
• ユーザの好み応じて各楽器音を編集する新
しい音楽の楽しみ方や，音楽信号の自動採
譜等に応用できる重要な技術
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/V9J2W9LVER.jpg)

研究背景
• 多重音解析に用いられる技術の一つとして，
非負値行列因子分解がある [D. D. Lee et al., 1999]
• 効率的な反復アルゴリズムが提案され，画像
処理，音響信号処理等様々な分野に応用さ
れる
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/5DEYL4QQJM.jpg)

…
Frequency [Hz]
Nonnegative Matrix Factorization (NMF)
…
Time [sec]
頻出スペクトル
…
…
各スペクトルの
タイミングと音量
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/2VJN4YK2E8.jpg)

…
Frequency [Hz]
Nonnegative Matrix Factorization (NMF)
…
スペクトル基底行列
Time [sec]
…
…
アクティベーション行列
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/GYE9QPVDE3.jpg)

罰則条件付き教師あり NMF [K. Yagi et al., 2010]
• 分離する楽器の教師音を用いる手法
学習プロセス
目的の楽器の教師音を
用いて学習した基底
分離プロセス
教師基底
を固定して
を構成
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/5GE8GDP5ED.jpg)

罰則条件付き教師あり NMF [K. Yagi et al., 2010]
• 分離する楽器の教師音を用いる手法
学習プロセス
目的の楽器の教師音を
用いて学習した基底
分離プロセス
教師基底
を固定して
を構成
から再構成した
スペクトログラムが分離結果
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/MLELGM137R.jpg)

罰則条件付き教師あり NMF [K. Yagi et al., 2010]
• 教師基底 とその他の基底
関となる罰則条件を与える
が互いに無相
に教師基底 と同じスペクトル
パターンが現れた場合，
から
得られる抽出音に欠損が生じる
Ex.
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/54JMQYWMEW.jpg)

実楽器音を対象とした NMF の信号分離
• 本研究では，実楽器の混合信号から目的の
楽器音を分離する
• 従来手法では，混合信号中の目的楽器音と
教師音の音色に差があると分離精度が著しく
劣化する
実楽器の混合信号
教師音
分離音
信号分解
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/ZPJR89YLE9.jpg)

実楽器音を対象とした NMF の信号分離
• 本研究では，実楽器の混合信号から目的の
楽器音を分離する
• 従来手法では，混合信号中の目的楽器音と
教師音の音色に差があると分離精度が著しく
劣化する
実楽器の混合信号
教師音
音色に差があると
分離精度が低下
分離音
信号分解
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/NPEX8Q467X.jpg)

実楽器音を対象とした NMF の信号分離
• 同じ種類の楽器であっても，音色は楽器の個
体差や演奏者などに強く依存
• 事前に入手可能な教師音を変形し，分離対
象音に適応させる新たな分解手法が必要
事前入手可能な教師音
分離対象音
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/63EKK9ZGED.jpg)

基底変形型教師あり NMF
Amplitude
• 事前学習した教師スペクトル基底
変形
目的音のスペクトル
教師音のスペクトル
変形
: 行列の要素毎の積
乗法的変形
の変形
○ 変形項
×
Frequency
は非負値行列で表現できる
の成分を変形できない
△ 変形項
加法的変形
は正負の要素値を持つ
の成分においても新たな
○
倍音成分を生成できる
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/4L73ZWD575.jpg)

基底変形型教師あり NMF
Amplitude
• 事前学習した教師スペクトル基底
変形
目的音のスペクトル
教師音のスペクトル
変形
: 行列の要素毎の積
乗法的変形
の変形
○ 変形項
×
Frequency
は非負値行列で表現できる
の成分を変形できない
△ 変形項
加法的変形
は正負の要素値を持つ
の成分においても新たな
○
倍音成分を生成できる
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/V87DRKPYEG.jpg)

基底変形型教師あり NMF
• 次のような分解を提案する
Amplitude
• 教師基底 と変形項 は共通のアクティ
ベーション を持つ
• 教師基底 を変形して目的音に合わせる
目的音のスペクトル
教師音のスペクトル
減算
加算
を
分離結果とする
Frequency
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/4VJPWKN2E8.jpg)

基底変形型教師あり NMF
• 基底 は加算と減算に対応した変形項
•
は以下の制約下で正負値を持つ
•
は教師基底
に対する減算の許容範囲
の場合
減算
30%まで
減算可能
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/L2EV8VKXEQ.jpg)

基底変形型教師あり NMF
• 基底 は，教師基底 と同じアクティベー
ション を持つため，分離目的音と同じタイミ
ングで生じる別の楽器のスペクトルが現れる
恐れがある
目的音
非目的音
と と が
全て無相関
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/Z57G5LQR7L.jpg)

基底変形型教師あり NMF
• 基底 は，教師基底 と同じアクティベー
ション を持つため，分離目的音と同じタイミ
ングで生じる別の楽器のスペクトルが現れる
恐れがある
目的音
非目的音
同じタイミングで生じる別の楽器
が，基底 に現れる恐れがある
と と が
全て無相関
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/V4EQZYKYEP.jpg)

基底変形型教師あり NMF 目的関数
• 目的関数
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/DKJ43WPZ71.jpg)

基底変形型教師あり NMF 更新式導出
• 通常の NMF の更新式導出と同様に補助関
数法を用いる
• 目的関数 の上限を与える補助関数 を以
下のように定義
•
は一般化KLダイバージェンス中の対数
項の上限， は罰則項の上限， は定数
19


# Page. 20

![Page Image](https://bcdn.docswell.com/page/PLE11Y9DEG.jpg)

基底変形型教師あり NMF 更新式導出
• 補助関数 を最小化することで，間接的に
目的関数 を最小化
• 基底 の更新式を導出するために を
で偏微分し とおくと以下の式を得る
20


# Page. 21

![Page Image](https://bcdn.docswell.com/page/8GEW8GQ8J2.jpg)

基底変形型教師あり NMF 更新式導出
• 補助関数 を最小化することで，間接的に
目的関数 を最小化
• 基底 の更新式を導出するために を
で偏微分し とおくと以下の式を得る
正負の値を持つ
21


# Page. 22

![Page Image](https://bcdn.docswell.com/page/W47Z8LW9E3.jpg)

基底変形型教師あり NMF 更新式
基底行列
更新式 (一般化 KL divergence 規準)
22


# Page. 23

![Page Image](https://bcdn.docswell.com/page/KYJ6PWGD7V.jpg)

基底変形型教師あり NMF 更新式
基底行列
更新式 (一般化 KL divergence 規準)
23


# Page. 24

![Page Image](https://bcdn.docswell.com/page/5GJ5KMV8E4.jpg)

基底変形型教師あり NMF 更新式
アクティベーション行列
更新式
(一般化 KL divergence 規準)
24


# Page. 25

![Page Image](https://bcdn.docswell.com/page/V9E2W93V7R.jpg)

基底変形型教師あり NMF 実験条件
教師基底数
実録の Fl., Cl., Tb., 及び Pf. の内
2 楽器を等パワーで混合した信号
抽出対象楽器の MIDI 音 (MS GS Wavetable SW Synth)
入力信号の音域をカバーする範囲において
半音階で2オクターブ上昇する信号
窓関数： 矩形 → ハニング
窓長： 92.9 msec, シフト長: 46.4 msec
100
その他基底数
50
入力信号
教師信号
STFT
変形許容範囲
0.3
更新回数
学習プロセス：500, 分離プロセス：400
各行列の初期値
乱数
各罰則項の重み
実験的に調整した値
分離精度評価値
SDR, SIR, SAR (10回試行の最大値)
SDR ：分離した目的音の品質
SIR ：分離した目的音と非目的音との分離度合
SAR ：一連の信号処理によって生じた歪みの少なさ
高いほうが
良い分離
25


# Page. 26

![Page Image](https://bcdn.docswell.com/page/5D7YL41QEM.jpg)

基底変形型教師あり NMF 実験結果
各評価値の
平均値
Other
sound
Clarinet
Trombone
Flute
Trombone
Piano
Clarinet
9
8
Proposed method
SDR SIR
SAR
8.4
14.8
9.6
11.0 24.4 11.2
0.7
2.6
7.2
9.6
23.9
9.8
7.0
14.9
7.9
4.7
19.3
4.9
24
10
22
9
20
7
8
18
7
16
SIR [dB]
6
SDR [dB]
Conventional method
SDR SIR
SAR
2.4
8.4
4.3
3.1
15.8
3.5
0.1
1.8
7.3
3.2
14.6
3.7
5.8
12.8
7.0
2.1
12.4
2.8
SAR [dB]
Target
sound
Piano
Piano
Clarinet
Clarinet
Flute
Trombone
14
5
12
4
10
3
8
1
2
0
0
Conventional Proposed
method
method
4
2
4
1
5
3
6
2
6
0
Conventional Proposed
method
method
Conventional Proposed
method
method
26


# Page. 27

![Page Image](https://bcdn.docswell.com/page/2VEN4Y2278.jpg)

4
4
3
3
Frequency [kHz]
Frequency [kHz]
スペクトログラムでの比較
2
1
0
0
1
2
Time [s]
3
2
1
0
4
0
1
4
4
3
3
2
1
0
0
1
2
Time [s]
3
3
4
(b) Pf. のみの信号
Frequency [kHz]
Frequency [kHz]
(a) 混合信号 (Pf. &amp; Tb.)
2
Time [s]
4
(c) 従来手法による Pf. 分離信号
2
1
0
0
1
2
Time [s]
3
4
(d) 提案手法による Pf. 分離信号


# Page. 28

![Page Image](https://bcdn.docswell.com/page/GY79QP1D73.jpg)

4
4
3
3
Frequency [kHz]
Frequency [kHz]
スペクトログラムでの比較
2
1
0
0
1
2
Time [s]
3
2
1
0
4
0
1
4
4
3
3
2
1
0
0
1
2
Time [s]
3
3
4
(b) Pf. のみの信号
Frequency [kHz]
Frequency [kHz]
(a) 混合信号 (Pf. &amp; Tb.)
2
Time [s]
4
(c) 従来手法による Pf. 分離信号
2
1
0
0
1
2
Time [s]
3
4
(d) 提案手法による Pf. 分離信号


# Page. 29

![Page Image](https://bcdn.docswell.com/page/5G78GD457D.jpg)

まとめと今後
• 教師音を用いた実楽器音の音源分離手法と
して，基底変形型教師あり NMF を提案
• 提案法は従来法より優れた分離を実現し，よ
り実音に近い自然な分離音が得られる
• 加算変形に対する許容範囲の付与
• 罰則項の重みパラメータの最適値推定方法
の検討
• マルチチャネル信号分解への応用
29


