---
title: 【DL輪読会】Gradient Estimation with Discrete Stein Operators
tags: 
author: [Deep Learning JP](https://www.docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/YE9X538373.jpg?width=480
description: 【DL輪読会】Gradient Estimation with Discrete Stein Operators by Deep Learning JP
published: January 23, 25
canonical: https://www.docswell.com/s/DeepLearning2023/ZEXD2N-2025-05-15-144011
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/YE9X538373.jpg)

DEEP LEARNING JP
Gradient Estimation with Discrete Stein Operators
[DL Papers]
Presenter: Manato Yaguchi, Matsuo-Iwasawa lab, M1
http://deeplearning.jp/


# Page. 2

![Page Image](https://bcdn.docswell.com/page/GE82YM8LED.jpg)

書誌情報
紹介論文
 タイトル: Gradient Estimation with Discrete Stein Operators
出典: NeurIPS Proceedings (2022, outstanding paper)
著者: Jiaxin Shi, Yuhao Zhou, Jessica Hwang, Michalis K. Titsias, Lester Mackey
概要
 離散分布の勾配推定において、Stein operatorsをCVとして用いることで分散を削減
 2値の変分autoencoderのタスクで、提案した勾配推定手法が小さな分散を達成したことを、
実験的に確認
※画像は出典記載のないものは、本論文から引用
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/LEL243RQ7R.jpg)

はじめに
出典: https://lilianweng.github.io/posts/2018-10-13-flow-models/
出典: https://arxiv.org/pdf/1912.01603
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/4JM8KDPKJW.jpg)

問題設定
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/PJR5X416E9.jpg)

勾配の計算 (Reinforce)
Reparametrization Trickと呼
ばれる手法もある
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/PEXK62YDJX.jpg)

Baselineを引くことの正当性
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/3EK51M3DJD.jpg)

Reinforceの派生系
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/L73KQYGP75.jpg)

Baselineがサンプリング点xに依存する場合
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/87D39513JG.jpg)

Double CV estimator
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/VJP4ZGQP78.jpg)

Stein operatorとは
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/2EVXW65VJQ.jpg)

Stein operator の例
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/57GVDN617L.jpg)

離散分布での差分演算
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/4EQ61Q4NEP.jpg)

マルコフ連鎖による構成例
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/KJ44RNQ3J1.jpg)

定常分布の定義と説明
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/LE14Q5PZEG.jpg)

証明
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/GEWXM52672.jpg)

証明 (前のページの続き)
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/47Z6QNDR73.jpg)

離散版Stein operatorの構築例
 複数の先行研究において、(Ah)(x)を明示的に与えることで、勾配の分散を小さくしている
 提案手法は、勾配の分散を小さくする,最適な関数hを学習により獲得
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/YJ6268117V.jpg)

ここから本題


# Page. 19

![Page Image](https://bcdn.docswell.com/page/GJ52694LJ4.jpg)

Stein Operator (離散)
19


# Page. 20

![Page Image](https://bcdn.docswell.com/page/LE3KQYGDE5.jpg)

(P-I)hの期待値が0の証明
20


# Page. 21

![Page Image](https://bcdn.docswell.com/page/8ED395127G.jpg)

関数hの決め方(1/2)
21


# Page. 22

![Page Image](https://bcdn.docswell.com/page/V7P4ZGQLE8.jpg)

関数hの決め方(2/2)
22


# Page. 23

![Page Image](https://bcdn.docswell.com/page/2JVXW6567Q.jpg)

RODEO：提案手法
23


# Page. 24

![Page Image](https://bcdn.docswell.com/page/5EGVDN62EL.jpg)

RODEOの学習フロー
 γは ニューラルネットH, H*のパラメータ
 目的関数に対する勾配による更新と、勾配アルゴリズムRODEOの更新を交互に行う
24


# Page. 25

![Page Image](https://bcdn.docswell.com/page/4JQ61Q49JP.jpg)

実験：MNIST, VAE (1/2)
 2値のMNIST datasetで、VAEを訓練
 勾配の分散, ELBOを、各訓練stepごとに、勾配推定アルゴリズム間で比較
 関数H, H*の計算分だけ推論コストが増えるが、それを加味しても良い結果
25


# Page. 26

![Page Image](https://bcdn.docswell.com/page/K744RNLR71.jpg)

実験：FMNIST, 4層VAE (2/2)
 2値のFashion-MNIST datasetで、4層のVAEを訓練 (学習がちょっと難しくなる, 分散大,
不安定)
 勾配の分散, ELBOを、各訓練stepごとに、勾配推定アルゴリズム間で比較
 他の2つのアルゴリズムと比較して,RODEOの結果が良い
26


# Page. 27

![Page Image](https://bcdn.docswell.com/page/LJ14Q5LVJG.jpg)

まとめ・考察
まとめ
 離散分布に対応するStein operatorをcontrol variatesとして、Double CVに組み込ん
だ
 Stein operator をCVとして扱う際、ニューラルネットワークにより学習可能にした
 2値VAEを用いた複数のタスクで、分散が小さくなること、最適化が改善されることを、実験的
に確かめた
考察・感想
 遷移行列Pの近似の影響が気になった
 連続分布への転用が気になった
 Reinforceだけでなく、RPや、融合手法に対するStein operatorのCVとしての、組み込み
が気になった
27