---
title: 方位クラスタリングと非負値行列因子分解を用いた音像深度自動推定 Automatic depth estimation of sound images using directional clustering and nonnegative matrix factorization (in Japanese)
tags:  #nmf #direction of arrivals #music  
author: [Daichi Kitamura](https://www.docswell.com/user/d-kitamura)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/PLE11DRXEG.jpg?width=480
description: Presented at 2013 Autumn Meeting of Acoustical Society of Japan (domestic conference) Tomo Miyauchi, Daichi Kitamura, Hiroshi Saruwatari, Satoshi Nakamura, "Automatic depth estimation of sound images using directional clustering and nonnegative matrix factorization," Proceedings of 2013 Autumn Meeting of Acoustical Society of Japan, 2-1-19, pp.673-676, Aichi, September 2013 (in Japanese, Student Presentation Award). 宮内智, 北村大地, 猿渡洋, 中村哲, "方位クラスタリングと非負値行列因子分解を用いた音像深度自動推定," 日本音響学会 2013年秋季研究発表会, 2-1-19, pp.673-676, Aichi, September 2013 (学生優秀発表賞受賞).
published: March 19, 15
canonical: https://www.docswell.com/s/d-kitamura/KN9NGK-2022-03-15-181203
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/PLE11DRXEG.jpg)

方位クラスタリングと非負値行列因子分解を
用いた音像深度自動推定
奈良先端科学技術大学院大学
☆宮内智, 北村大地, 猿渡洋, 中村哲


# Page. 2

![Page Image](https://bcdn.docswell.com/page/8GEW8Y1KJ2.jpg)

発表内容
⚫ 研究背景と関連研究
⚫ 課題と研究目的
⚫ 提案手法
- DOA ヒストグラム
- アクティベーション同期型マルチチャネル NMF
⚫ 評価実験
⚫ まとめと今後の課題
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/W47Z8XPNE3.jpg)

研究背景
3D TV 等の普及により “深度：奥行き感” のある映像が呈示可能
一方
音像に深度を与えることが可能な音響システムは確立していない
映像
問題1
音像
3D TV
: 音像
映像と音像の位置が一致せず知覚上の違和感が生じる
映像
問題2
音像
3D TV
: 音像
混合音全体が移動することによる違和感が生じる
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/KYJ6P4M97V.jpg)

関連研究
問題1の関連研究
問題2の関連研究
3D 立体映像と一致する音像呈示
混合音に含まれる各音像の分離
Wave Field Synthesis (WFS)
方位クラスタリングに基づく音源分離
[A. J. Berkhout, et al., 1993]
[S. Araki, et al., 2007]
複数のラウドスピーカアレイを用い
音像を呈示することが可能な技術
ステレオ信号の左右チャネル信号
から方位を取得し音源分離
…
…
…
受聴者
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/5GJ5KQZDE4.jpg)

方位クラスタリングに基づく方位分解
L-ch input signal
L-ch input signal
L-ch input signal
各クラスタ毎の分離信号
混合信号
R-ch input signal
R-ch input signal
R-ch input signal
Normalization
：Source component
Clustering
：Spatial representative vector
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/V9E2WPPM7R.jpg)

課題と研究目的
課題
既存コンテンツは定位情報が失われており
そのままでは WFS に適用することができない．
Up-mixer
一次音源の方位に関しては推定可能
逆 VBAP による一次音源の方位推定 [Hirata, et al., 2012]
本研究の目的
一次音源の深度に関する推定
どの様に音像の深度情報を取得するか?
提案手法
DOA (direction of arrival) を用いた
マルチチャネル音源中の音像深度推定
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/5D7YL55PEM.jpg)

提案手法： DOA に基づく音像深度推定
DOA → direction of arrival： 音の到来方向
DOA の分布を利用し音像深度の推定
重み付けDOA ヒストグラム
方位クラスタリングに基づく音源分離
方位
重み付け項
振幅値
Center
Right
Frequency
Left
Direction of arrival
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/2VEN4NNM78.jpg)

提案手法： DOA に基づく音像深度推定
Far
Frequency of
source component
Near
Frequency of
source component
音源深度によるDOA ヒストグラム形状の違い
音源が近い
裾野は狭く頻度値は大
ヒストグラムの分散値が小
Direction of arrival
音源が遠い
裾野は広く頻度値は小
ヒストグラムの分散値が大
Direction of arrival
DOA ヒストグラムの分散値から音像深度の推定を行う
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/GY79QRRW73.jpg)

DOA に基づく音像深度推定
信号処理上の
問題点
正規化問題
L-ch
レベルの小さな雑音成分も過大に
扱われてしまい目的音が埋もれる
R-ch
Binaural – recorded
Center
Right
Frequency
L-ch input signal
Left
Noise
R-ch input signal
DOA
そのまま適用しただけでは目的音の真の分散値が評価できない．
背景雑音やデジタル信号処理で生じる人工的なノイズの抑圧が必要
改良手法
アクティベーション同期型マルチチャネル NMF
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/5G78GWWR7D.jpg)

アクティベーション同期型マルチチャネル NMF
Frequency
Frequency
Amplitude
非負値行列因子分解 (nonnegative matrix factorization: NMF)
Time
アクティベーション行列
Time
スペクトログラム
Amplitude
基底行列
𝑭が現れるタイミング
及び音量を表現する
スペクトログラム中で頻出
するスペクトルパターン
𝛺: 周波数ビン数
𝑇: 時間フレーム数
𝐾: 基底数
非負行列を2つの非負行列の行列積で表現する．
→ 特徴的なパターンが基底となって現れる特徴を持つ．
この性質を利用し目的信号成分の抽出を行う．
×左右チャネル別々に NMF 処理を行うと方位情報 (振幅比) が乱れる．
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/ML7LGNN2JR.jpg)

アクティベーション共有型マルチチャネル NMF
問題
L-ch
方位情報
NMF
フレーム周波数
ビン毎の振幅比
R-ch
チャネル毎に NMF で
処理すると基底が
無相関に学習される．
Frequency
NMF
方位情報が乱れ
本来の DOA の
分布が不明に
DOA
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/54EMQXX97W.jpg)

アクティベーション共有型マルチチャネル NMF
改良手法
アクティベーション同期型マルチチャネル NMF
L-ch
NMF
アクティベーション
を共有
R-ch
方位情報を保存しつつ
目的音源抽出
NMF
コスト関数
: コスト関数,
: βダイバージェンス,
:
中の各要素
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/ZPER8NN979.jpg)

アクティベーション共有型マルチチャネル NMF
一般化距離関数 -divergence [Eguchi, et al., 2001]
: ユークリッド距離
: 一般化KLダイバージェンス
: 板倉-斉藤擬距離
スパース性が重視
された距離尺度に


# Page. 14

![Page Image](https://bcdn.docswell.com/page/NP7X8NN3JX.jpg)

アクティベーション共有型マルチチャネル NMF
距離関数に b -divergence を用いた場合の更新式を導出し，
超解像に基づく教師あり NMF において最適な距離規範の検討を行う
更新式導出は補助関数法を用いる
コスト関数 の上限を与える補助関数を定義
コスト関数を間接的に最小化
-divergenceを用いて
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/637KKNNN7D.jpg)

アクティベーション共有型マルチチャネル NMF
コスト関数(上式) の第一項，第二項は の値に応じて
凸関数 (convex) か関数 (concave) になる．
concave
convex
convex
concave
concave
convex
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/4LJ3ZVVZJ5.jpg)

アクティベーション共有型マルチチャネル NMF
各項の上限関数は以下の不等式を用いて設計できる
凸関数: Jensen の不等式
: 凸関数
凹関数: 接線不等式
: 凹関数
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/V8JDR8847G.jpg)

アクティベーション共有型マルチチャネル NMF
補助関数を各変数で微分し，補助変数の等号成立条件を
代入することで更新式を導出
はそれぞれ
の要素
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/4VEPW88V78.jpg)

提案手法フロー
Frequency
Input stereo signal
R-ch
L-ch
STFT
DOA
Cluster L
Cluster C
Cluster R
Frequency
Weighted DOA histogram
Activation
Activation
Activation
shared NMF shared NMF shared NMF
Variance
estimation
Variance
estimation
各クラスタのDOA ヒストグラムの分散値を
評価することにより音像深度を推定
Frequency
Variance
estimation
DOA
DOA
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/L27V8NNR7Q.jpg)

評価実験
実験条件
提案法 1 重み付けのみ
提案法 2 重み付け + NMF 処理
Mixing source parameter
Interference
source
Test source 1, 2, 3
SNR
NMF beta
Target
source
NMF basis
2.5 m
1.5 m
Dummy
head
0.5 m
⚫ 3種類の楽器の混合音源
⚫ 距離の違う3つの目的音
⚫ ピンクノイズを混合した音源についても評価
⚫ 方位の組み合わせ: 6通り
目的音の距離： 3通り
ノイズ付加率の違い： 4通り
Interference
source
72個のテストセット
19


# Page. 20

![Page Image](https://bcdn.docswell.com/page/Z5JG5KK6JL.jpg)

2.0
(a)
1.5
1.0
0.5
0.0
0.5 m
1.5 m
2.5 m
Variance of histogram
Variance of histogram
評価実験
2.0
1.0
1.5
1.0
0.5
0.0
0.5 m
1.5 m
2.5 m
Depth of sound source
：Proposed
method 2
0.5
0.0
0.5 m
1.5 m
2.5 m
Depth of sound source
Variance of histogram
Variance of histogram
(c)
：Proposed
method 1
1.5
Depth of sound source
2.0
(b)
2.0
(b) signal with pink
noise (SNR=30 dB)
(d)
1.5
(c) signal with pink
noise (SNR=20 dB)
1.0
0.5
0.0
(a) signal only
0.5 m
1.5 m
2.5 m
(d) signal with pink
noise (SNR=１0 dB)
Depth of sound source
結果 ⚫ 3つの音源距離間で有意な推定が行われた．
⚫ 全条件において提案法2の結果が若干優位
⚫ ノイズの強い音源に関しても頑健性が示唆された．
20


# Page. 21

![Page Image](https://bcdn.docswell.com/page/V47QZNN27P.jpg)

まとめと今後の課題
まとめ
⚫ 波面合成法で必要となる音像深度の推定手法として， DOA
ヒストグラムの分散値を評価することを提案した．
⚫ 改良手法として，アクティベーション共有型マルチチャネル
NMF を提案した．
まとめ!
⚫ 音源距離の違いに応じて特徴量に有意な差が見られ，音
像深度の推定に対する提案法の有効性が示された．
今後の課題
⚫ 別条件の音源に対する評価実験の実施
⚫ 音像定位推定を波面合成法へ適用し，実音場で再現を
行った合成音源に対する主観評価実験の実施
21