---
title: [DL輪読会]Hyper parameter agnostic methods in reinforcement learning
tags:  #deep learning  
author: [Deep Learning JP](https://www.docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/DEYV9PV9EM.jpg?width=480
description: 2018/06/22  Deep Learning JP:  http://deeplearning.jp/seminar-2/
published: June 22, 18
canonical: https://www.docswell.com/s/DeepLearning2023/ZRXYYN-dlhyper-parameter-agnostic-methods-in-reinforcement-learning
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/DEYV9PV9EM.jpg)

Hyper Parameter Agnostic Methods in Reinforcement
Learning
Reiji Hatsugai, DeepX
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/VJNML5MD78.jpg)

今日発表する論文
• Maximum a Posteriori Policy Optimization
– DeepMind
– ICLR2018
– タスク固有のハイパラを設定せずに、SOTA
• Meta-Gradient Reinforcement Learning
– DeepMind
– 減衰率など強化学習のreturn推定に使われるパラメーターをメタに学習
– AtariでSOTA
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/YE9N4YN8E3.jpg)

選定理由
• 強化学習はハイパラの調整が大変
– Deep RL that matters (http://deeplearning.jp/deep-reinforcement-learning-that-matters/)
– ハイパラagnosticな手法があったらいいよね (去年)
• ハイパラagnosticぽい手法も出てき始めている
– ハイパラに対してロバスト (一本目)
– ハイパラを自動調整 (二本目)
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/GE8KQ6KZ7D.jpg)

Maximum a Posteriori Policy Optimization概要
• EMアルゴリズムを強化学習の問題設定に適用
• 最適行動の尤度に対して、下界 (ELBO) を考える
– 下界を代理分布に対して最大化 (E-Step)
– 下界を方策に対して最大化 (M-Step)
• オフポリシーで学習可能
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/LELZX9Z1JR.jpg)

目的関数導出式
O=1は最大の報酬が得られたことを表す
周辺化
報酬最大化
下界の導出 (イェンゼン)
KL正則化
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/4JMVLZV5JW.jpg)

E-Step (qに関する下界の最大化)
• 軌道全体に関する式を1Stepに関する式に置き換え
• 報酬最大化の式をQ関数に置き換え
• KL正則をKL制約に置き換え (αからε)
1Stepにして、Q関数を導入
KL正則をKL制約に置き換え
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/PJR2K62ZE9.jpg)

M-Step (πに関する下界の最大化)
• πに関する項のみを残すと、
するπの尤度最大化の式になる (事前分布項付き)
qでサンプリング
– 事前分布をガウシアンで分散をFIMにすると、KL正則の式に変形できる
• FIMとKLの関係は「DLと曲がったパラメータ空間」に詳しく
(http://deeplearning.jp/deeplearningと曲がったパラ
メータ空間 -scalable-trust-region-method-for-deep-reinforcement-learning-using-kronecker-f/)
目的関数のπに関する
項
事前分布にFIMを使
い、KL正則の式に変
形
KL正則の式を、
KL制約の式に置き換え
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/PEXDLMD17X.jpg)

KL正則？KL制約？
• 論文の本文内ではKL正則をKL制約に変形して議論している
• Appendixを見てみると、
Lagrange関数としてKL正
則をロス関数に加えている
– Soft -> Hard -> Soft?
– なんの意味があるのか
• 実は、Lagrange関数の形にすることで
についての双対問題を考えることができる
Lagrange Multiplier
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/3EKXLGXM7D.jpg)

双対問題とは
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/L7353N52E5.jpg)

OpenReviewでの著者QA (抜粋)
• a KL divergence regularizer is replaced by a “hard” constraint.
However, the hard constraint is then replaced by a soft constraint.
• This is due to the fact that the scale of the rewards is unknown a-priori
and hence the multiplier that trades of maximizing expected reward
and minimizing KL can be expected to change for different RL
environments. When we put a hard constraint on the KL we can
explicitly force the policy to stay "epsilon-close" to the last solution independent of the reward scale.
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/87DD4WD67G.jpg)

ざっくりいうと
• 報酬スケールはタスクによって異なるが、更新のKLは同じにしたい
• 双対問題を考え、Lagrange multiplierを更新することで
制約をちゃん
と守らせる
• 結果、報酬スケールに依存しないハイパラ (ε) を設定可能!
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/VJPXM96Z78.jpg)

実験対象
• DeepMind Control Suite
• DDPG, PPO, EPGと比較
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/2EVL9M3MJQ.jpg)

実験結果
• 強い
• 同じハイパラ
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/57GXZG3XEL.jpg)

難しい環境 (パルクール)
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/4EQ8LX55JP.jpg)

Meta-Gradient Reinforcement Learning概要
• 強化学習の教師データは真の値でなく、減衰率などを使った推定値
• 真に上昇させたいreturnについて、勾配を考える
• ベースの考え方はvalidation
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/KJ42D69VE1.jpg)

強化学習復習
報酬関数がよく設計されていれば γは小さい値でもよい
γはどれだけ長くの系列を見るのかというハイパーパラメータ
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/LE1MZVK47G.jpg)

全体図1
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/GEW39LDZE2.jpg)

全体図２
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/47ZV9MGLE3.jpg)

手法説明
• ある軌道に対してパラメータを更新
• 更新後のパラメータを別の軌道に適用かつ、
大きく (returnに値を近づける) した目的関数を、
して微分
減衰率を
もとの減衰率に対
• イメージとしては、別の軌道、別のηでvalidationしながら学習
19


# Page. 20

![Page Image](https://bcdn.docswell.com/page/YJ65KNYM7V.jpg)

価値関数の学習による例
パラメータに関する勾配
目的関数
更新則
更新則のηに関する勾配
20


# Page. 21

![Page Image](https://bcdn.docswell.com/page/GJ5YP5GQJ4.jpg)

実験結果
21


# Page. 22

![Page Image](https://bcdn.docswell.com/page/LE353NRZJ5.jpg)

まとめ
• Hyper Parameter Agnosticな強化学習手法
– ハイパラをロバストにするために双対問題を考える
– 強化学習の枠組みの中で、真値に対してハイパラを学習
• 今日紹介した２つの手法は強化学習以外の問題設定に使えそう
– KL proximal制約とか
– Validationが上手く用意できたらハイパラも最適化しながらできる
• 強化学習の主戦場は単純な手法から、
設定が解ける手法に変化 (メタタスク、ドメアダ)
複雑な問題
– 今回紹介したような問題設定は変えない手法は最近少ない
– ハイパラagnosticはその中でまだ面白い課題
22