--- title: Music signal separation using supervised nonnegative matrix factorization with orthogonality and maximum-divergence penalties (in Japanese) tags: #nmf #source separation #music author: [Daichi Kitamura](https://www.docswell.com/user/d-kitamura) site: [Docswell](https://www.docswell.com/) thumbnail: https://bcdn.docswell.com/page/DKJ43GK171.jpg?width=480 description: Presented at 28th Signal Processing Symposium (SIP Symposium) (domestic conference) Daichi Kitamura, Hiroshi Saruwatari, Kosuke Yagi, Kiyohiro Shikano, Yu Takahashi, Kazunobu Kondo, "Music signal separation using supervised nonnegative matrix factorization with orthogonality and maximum-divergence penalties," Proceedings of 28th Signal Processing Symposium (SIP Symposium), C1-4, pp.539-544, Yamaguchi, November 2013 (信号処理若手奨励賞受賞). published: March 19, 15 canonical: https://www.docswell.com/s/d-kitamura/KX6QXZ-2022-03-15-181818 --- # Page. 1 ![Page Image](https://bcdn.docswell.com/page/DKJ43GK171.jpg) Music Signal Separation Using Supervised Nonnegative Matrix Factorization with Orthogonality and Maximum-divergence Penalties 直交化及び距離最大化則条件を用いた 教師あり非負値行列因子分解による音楽信号分離 北村大地, 猿渡洋, 八木浩介, 鹿野清宏 （奈良先端科学技術大学院大学） 高橋祐, 近藤多伸 （ヤマハ株式会社） # Page. 2 ![Page Image](https://bcdn.docswell.com/page/PLE11DX5EG.jpg) 発表の流れ • 研究背景 • 従来手法 – 非負値行列因子分解 – 教師あり非負値行列因子分解 – 従来手法の問題点 • 提案手法 – 罰則条件付き教師あり非負値行列因子分解 • 基底直交化罰則条件 • 基底間距離最大化罰則条件 • 評価実験 – 2音源混合信号 – 4音源混合信号 • まとめ 2 # Page. 3 ![Page Image](https://bcdn.docswell.com/page/8GEW8YNWJ2.jpg) 発表の流れ • 研究背景 • 従来手法 – 非負値行列因子分解 – 教師あり非負値行列因子分解 – 従来手法の問題点 • 提案手法 – 罰則条件付き教師あり非負値行列因子分解 • 基底直交化罰則条件 • 基底間距離最大化罰則条件 • 評価実験 – 2音源混合信号 – 4音源混合信号 • まとめ 3 # Page. 4 ![Page Image](https://bcdn.docswell.com/page/W47Z8X32E3.jpg) 研究背景 • 音源分離技術 – 複数の音源が混合された信号を個々の音源に分離する信号処理 – 音声と雑音の分離，個々の音源の編集，音拡張現実感への基盤技術 特定音源の 分離・抽出 • 代表的な音源分離方法 – 時間-周波数表現されたスペクトログラム上で音源ごとに分解 Frequency 分離 最初の音 Time 2つの音が存在 2番目の音 4 # Page. 5 ![Page Image](https://bcdn.docswell.com/page/KYJ6P4Z67V.jpg) 発表の流れ • 研究背景 • 従来手法 – 非負値行列因子分解 – 教師あり非負値行列因子分解 – 従来手法の問題点 • 提案手法 – 罰則条件付き教師あり非負値行列因子分解 • 基底直交化罰則条件 • 基底間距離最大化罰則条件 • 評価実験 – 2音源混合信号 – 4音源混合信号 • まとめ 5 # Page. 6 ![Page Image](https://bcdn.docswell.com/page/5GJ5KQW5E4.jpg) 従来手法: 非負値行列因子分解 [Lee, et al., 2012] • 非負値行列因子分解 (nonnegative matrix factorization: NMF) Amplitude Frequency Frequency – スパース分解表現による特徴量抽出手法 Amplitude Time 観測行列 (スペクトログラム) Time パーツ，基底 アクティベーション行列 (時間的なゲイン変化) 基底行列 (頻出スペクトルパターン) Ω: 周波数ビン数 𝑇: 時間フレーム数 𝐾: 基底数 • 分解された基底を音源毎に選別する教師無しNMFは非常に困難 6 # Page. 7 ![Page Image](https://bcdn.docswell.com/page/V9E2WPQG7R.jpg) 従来手法: 教師ありNMF (SNMF) [Smaragdis, et al., 2007] • 分離したい目的音の教師 (サンプル) 音を事前に学習 – 学習プロセスで教師スペクトル基底 (dictionary) を作成 – 分離プロセスで目的音 と，非目的音 に分離 学習プロセス 音階情報等 分離目的音の教師音 教師音から作成した教師スペクトル基底 最適化 分離プロセス 混合音 固定 目的音 非目的音 7 # Page. 8 ![Page Image](https://bcdn.docswell.com/page/5D7YL5WGEM.jpg) 従来手法の問題点 • SNMFにおける基底共有問題 – 教師基底 とその他の基底 の間には特に制約が無い – 目的音のスペクトルがその他の基底 に現れる可能性がある その他の基底 に教師と同じスペクトルが現れた場合 本来の目的信号 推定目的音 – 推定した目的音には欠損が生じる – コスト関数が混合信号 と れているため 推定非目的音 の距離のみで定義さ 8 # Page. 9 ![Page Image](https://bcdn.docswell.com/page/2VEN4N9878.jpg) 基底共有問題: SNMFによる分離例 従来手法 SNMFで 分離 混合信号 目的音のみの 信号 (理想) 9 # Page. 10 ![Page Image](https://bcdn.docswell.com/page/GY79QR2X73.jpg) 基底共有問題: SNMFによる分離例 非目的音 従来手法 SNMFで 分離 混合信号 目的音のみの 信号 (理想) 10 # Page. 11 ![Page Image](https://bcdn.docswell.com/page/5G78GW597D.jpg) 基底共有問題: SNMFによる分離例 従来手法 SNMFで 分離 混合信号 目的音のみの 信号 (理想) 分離信号 分離信号には目的成分 の欠損が生じている 11 # Page. 12 ![Page Image](https://bcdn.docswell.com/page/ML7LGNYMJR.jpg) 発表の流れ • 研究背景 • 従来手法 – 非負値行列因子分解 – 教師あり非負値行列因子分解 – 従来手法の問題点 • 提案手法 – 罰則条件付き教師あり非負値行列因子分解 • 基底直交化罰則条件 • 基底間距離最大化罰則条件 • 評価実験 – 2音源混合信号 – 4音源混合信号 • まとめ 12 # Page. 13 ![Page Image](https://bcdn.docswell.com/page/54EMQXN67W.jpg) 提案手法: 罰則条件付きSNMF • 教師と同じスペクトル基底がその他の基底に現れる 基底共有問題が発生，分離した目的音が欠落 • その他の基底 を教師基底 と (できるだけ) 無相関に する罰則条件をコスト関数に付与する • 罰則条件付きSNMF (Penalized SNMF: PSNMF) 混合音 固定 なるべく 目的音 非目的音 と無相関となるように最適化 13 # Page. 14 ![Page Image](https://bcdn.docswell.com/page/ZPER8NDN79.jpg) SNMFの分解モデルとコスト関数 分解モデル: 教師基底 (固定) SNMFのコスト関数: 一般化距離関数: -divergence [Eguchi, et al., 2001] 14 # Page. 15 ![Page Image](https://bcdn.docswell.com/page/NP7X8N18JX.jpg) PSNMFの分解モデルとコスト関数 分解モデル: 教師基底 (固定) SNMFのコスト関数: PSNMFのコスト関数: 無相関にする罰則項を付与 2種類の罰則項を提案する 15 # Page. 16 ![Page Image](https://bcdn.docswell.com/page/637KKN2L7D.jpg) 基底直交化罰則条件 • 教師基底 とその他の基底 くなる を求める – 類似した基底が現れると の内積ができるだけ小さ は大きな値になる • 基底は全て周波数方向の総和が1になる制限を与える – NMFにおけるスケールの任意性を無くすため • コスト関数に付与する際に重み係数 通常のNMFは スケールが任意 を与える 16 # Page. 17 ![Page Image](https://bcdn.docswell.com/page/4LJ3ZV46J5.jpg) 基底間距離最大化罰則条件 • 教師基底 とできるだけ遠いその他の基底 を求める – 類似した基底が現れると距離値は小さな値になる • 基底は全て周波数方向の総和が1になる制限を与える • コスト関数に付与する際に負号を反転した指数関数とし 重み係数 と感度パラメータ を与える – NMF項と合わせて罰則項も最小化問題とするため – 罰則項の最小値を0とするため 17 # Page. 18 ![Page Image](https://bcdn.docswell.com/page/V8JDR8QM7G.jpg) PSNMFの最適化更新式の導出 • コスト関数を最小化する変数 を求める • 導出には補助関数法を用いる – コスト関数 の上限を与える補助関数 を定義 – 補助変数と目的変数を交互に最小化してコスト関数を間接的に 最小化 – と の補助関数を設計する 18 # Page. 19 ![Page Image](https://bcdn.docswell.com/page/4VEPW8LQ78.jpg) PSNMFの最適化更新式の導出 • コスト関数を最小化する変数 を求める 但し， • 第二項と第三項は の値に応じて凸関数 (Convex) か 凹関数 (Concave) になる – 凸関数: Jensenの不等式 – 凹関数: 接線不等式 19 # Page. 20 ![Page Image](https://bcdn.docswell.com/page/L27V8NQP7Q.jpg) PSNMFの最適化更新式の導出 • コスト関数を最小化する変数 を求める 但し， は補助変数 • 常に凸関数になる – 凸関数: Jensenの不等式 20 # Page. 21 ![Page Image](https://bcdn.docswell.com/page/Z5JG5KWQJL.jpg) PSNMFの最適化更新式の導出 • コスト関数を最小化する変数 • 設計した補助関数 を求める を各変数で偏微分 21 # Page. 22 ![Page Image](https://bcdn.docswell.com/page/V47QZN3W7P.jpg) PSNMFの最適化更新式 • 直交化罰則条件の更新式 但し， 22 # Page. 23 ![Page Image](https://bcdn.docswell.com/page/DKE43G11J1.jpg) PSNMFの最適化更新式 • 距離最大化罰則条件の更新式 但し， 23 # Page. 24 ![Page Image](https://bcdn.docswell.com/page/PL711DG57G.jpg) 発表の流れ • 研究背景 • 従来手法 – 非負値行列因子分解 – 教師あり非負値行列因子分解 – 従来手法の問題点 • 提案手法 – 罰則条件付き教師あり非負値行列因子分解 • 基底直交化罰則条件 • 基底間距離最大化罰則条件 • 評価実験 – 2音源混合信号 – 4音源混合信号 • まとめ 24 # Page. 25 ![Page Image](https://bcdn.docswell.com/page/8G7W8YKWE2.jpg) 実験条件 • MIDI信号で作成したモノラル音源 • Clarinet, Oboe, Piano, Celloの4種類 • 2音源混合と4音源混合の信号で評価 – 2音源は全12パターン，4音源は全4パターンの平均評価値を算出 • 教師音は分離目的音の音域をカバーする同じMIDIの音階情報 教師用 音源信号 目的音源の音域をカバーする2オクターブの24音階 25 # Page. 26 ![Page Image](https://bcdn.docswell.com/page/W4JZ8XZ273.jpg) 実験条件 • その他の実験条件 観測信号 教師信号 距離規範 基底数 重み係数 比較手法 2音源混合及び4音源混合した信号 目的音源と同じMIDI信号で音域をカバーす る2オクターブの24音階からなる信号 の全ての組み合わせ 教師基底 : 100, その他の基底 : 50 実験的に調整して定めた値 従来手法のSNMFと提案手法PSNMF • 評価値はSDRを用いる [Vincent, 2006] – 分離した目的音の音質や分離度合を含む総合的な品質の尺度 – 値が大きい方が良い 26 # Page. 27 ![Page Image](https://bcdn.docswell.com/page/KYE6P486JV.jpg) 実験結果: 2音源混合 • 全12パターンの平均評価値を算出 16 16 14 14 8 従来 SNMF 6 16 14 12 12 10 10 SDR [dB] SDR [dB] 10 PSNMF PSNMF (直交化) (距離最大化) SDR [dB] 12 PSNMF PSNMF (直交化) (距離最大化) 8 6 従来 SNMF 従来 8 SNMF 6 4 4 2 2 2 0 0 0 0 • 全ての 1 2 PSNMF PSNMF (距離最大化) (直交化) 4 0 1 2 0 1 2 において従来手法から大きく改善された – 基底共有問題を防ぐことができたため – 直交化罰則と距離最大化罰則に大きな差はない 27 # Page. 28 ![Page Image](https://bcdn.docswell.com/page/5GE5KQ9574.jpg) 実験結果: 4音源混合 14 14 12 12 6 14 PSNMF PSNMF (直交化) (距離最大化) 10 従来 8 SNMF 6 PSNMF PSNMF (距離最大化) (直交化) 10 従来 8 SNMF 12 SDR [dB] PSNMF PSNMF 10 (直交化) (距離最大化) 従来 8 SNMF SDR [dB] SDR [dB] • 全4パターンの平均評価値を算出 6 4 4 4 2 2 2 0 0 0 0 1 2 0 1 2 0 1 2 • 2音源混合と同様に大きく改善された 28 # Page. 29 ![Page Image](https://bcdn.docswell.com/page/V972WP2GJR.jpg) 直交化PSNMFによる分離例 (Cello と Oboe) 従来手法 SNMFで 分離 混合信号 提案手法 直交化 PSNMF で分離 目的音のみ 29 # Page. 30 ![Page Image](https://bcdn.docswell.com/page/5DJYL5YG7M.jpg) まとめ • 従来の教師ありNMFによる音源分離では，教師基底と 同じスペクトルがその他の基底に現れる基底共有問題 があった • その他の基底が教師基底とできるだけ無相関となるよう に最適化する罰則条件付き教師ありNMF (PSNMF) を 提案 – 基底直交化罰則条件と基底間距離最大化罰則条件を提案 • 従来手法と比較して高い精度で音源分離を達成 30