---
title: [DL輪読会]SEGAN Speech Enhancement Generative Adversarial Network
tags:  #deep learning  
author: [Deep Learning JP](https://www.docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/LELZXRP3JR.jpg?width=480
description: 020/02/14 Deep Learning JP:  http://deeplearning.jp/seminar-2/2
published: February 14, 20
canonical: https://www.docswell.com/s/DeepLearning2023/Z1JWP8-dlsegan-speech-enhancement-generative-adversarial-network
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/LELZXRP3JR.jpg)

SEGAN
Speech Enhancement Generative Adversarial Network
okamura masaki


# Page. 2

![Page Image](https://bcdn.docswell.com/page/4JMVLR4MJW.jpg)

目次
1.書誌事項
2.タスクの目的
3.GAN
4.提案手法(SEGAN)
5.実験結果
6.まとめ


# Page. 3

![Page Image](https://bcdn.docswell.com/page/PJR2KRWLE9.jpg)

書誌事項
year：2017
Santiago Pascual, Antonio Bonafonte, Joan Serra
-
Universitat Politecnica de Catalunya,Telefonica Research(spain)
project page ：(http://veu.talp.cat/segan/)
コードも公開：(https://github.com/santi-pdp/segan)


# Page. 4

![Page Image](https://bcdn.docswell.com/page/PEXDLRV67X.jpg)

タスクの目的
雑音下の音声をクリーンにする。
音声
雑音・騒音


# Page. 5

![Page Image](https://bcdn.docswell.com/page/3EKXLRQG7D.jpg)

GAN
データセット
(real data)
本物
Discriminator
偽物
ノイズ
(乱数などから生成)
Generator


# Page. 6

![Page Image](https://bcdn.docswell.com/page/L73538P5E5.jpg)

GAN
①
Generator：G(x) を最小化へ
Discriminator：D(x),1-D(G(z))を最大化へ
②


# Page. 7

![Page Image](https://bcdn.docswell.com/page/87DD4MLY7G.jpg)

CGAN (conditional GAN)
y：追加の条件を与えるベクトル
新たな特徴を加えることが可能


# Page. 8

![Page Image](https://bcdn.docswell.com/page/VJPXMR2278.jpg)

LSGAN (least-suquares GAN)
(a,b,c)=(-1,1,0),(0,1,1)が例として挙げられている。
学習が安定化


# Page. 9

![Page Image](https://bcdn.docswell.com/page/2EVL9RDXJQ.jpg)

提案手法(SEGAN)①
①Generator
Encoder-Decoder 構造
②Discriminator
enhancement signal
noisy signal
noisy speech
Discriminator
enhancement speech
real
fake


# Page. 10

![Page Image](https://bcdn.docswell.com/page/57GXZMYREL.jpg)

提案手法② -Generator
青：encoder
特徴を表す “c”を生み出すため
緑：decoder
(z,c)をもとに、clean speechを生成するため
損失関数
input noise signal
clean signal:


# Page. 11

![Page Image](https://bcdn.docswell.com/page/4EQ8LRMYJP.jpg)

提案手法(SEGAN)③ - Discriminator
enhancement
signal
noisy
signal
Discriminator
real
fake
損失関数
D(x)
input noisy signal


# Page. 12

![Page Image](https://bcdn.docswell.com/page/KJ42D8VZE1.jpg)

提案手法(SEGAN)④ - 工夫
Discriminator - 最小２乗誤差を用いて導出
(LSGANを参考)
Generator - λ=100,L1 norm (距離を表す指標)を利用


# Page. 13

![Page Image](https://bcdn.docswell.com/page/LE1MZ23D7G.jpg)

提案手法(SEGAN)④ - コードより
Discriminator loss
# TRAIN D to recognize clean audio as clean
Generator loss
# TRAIN G so that D recognizes G(z) as real
# TRAIN D to recognize generated audio as noisy
leftthomasさんのgit hub(https://github.com/leftthomas/SEGAN)からの引用


# Page. 14

![Page Image](https://bcdn.docswell.com/page/GEW39RP8E2.jpg)

実験結果
1.Objective evaluation
2.Subjective evaluation
PESQを除いて、性能が上がった
1~5の点数をつけてもらった結果
(1が最低、5が最高)


# Page. 15

![Page Image](https://bcdn.docswell.com/page/47ZV9RK9E3.jpg)

まとめ
1.音声処理とGANの組み合わせはまだまだ増えていきそうな
ので注目していきたい。
2.自分のプロジェクトにも機械学習を取り入れていきたい。
3.貴重な発表機会を与えていただきありがとうございました。


# Page. 16

![Page Image](https://bcdn.docswell.com/page/YJ65KRQD7V.jpg)

参照
・論文(https://arxiv.org/pdf/1703.09452.pdf)
・プロジェクトページ(http://veu.talp.cat/segan/)
・ Lsgan(https://arxiv.org/pdf/1611.04076.pdf),(https://qiita.com/inoudayo/items/a98da29b735c610fd7de)
・cGAN(https://arxiv.org/pdf/1411.1784.pdf)
・PESQに関して(https://www.ntt.co.jp/qos/technology/sound/04_2.html)