---
title: [DL輪読会]Meta Reinforcement Learning
tags:  #deep learning  
author: [Deep Learning JP](https://www.docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/972G61MZ7R.jpg?width=480
description: 2019/02/01 Deep Learning JP:  http://deeplearning.jp/seminar-2/
published: February 01, 19
canonical: https://www.docswell.com/s/DeepLearning2023/ZXYGV2-dl-130067084
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/972G61MZ7R.jpg)

DEEP LEARNING JP
[DL Papers]
Meta Reinforcement Learning
Reiji Hatsugai, DeepX
http://deeplearning.jp/
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/DJYV9ZXNJM.jpg)

本日の発表について
• 強化学習とメタラーニングという２つのhot topicの交差点についてまとめる
• メタラーニングの定義に強化学習を当てはめて考え、
各々の論文で行っているメタタスクを俯瞰的にみる
• どのような手法を用いてメタタスクにアプローチをしているのかまとめる
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/V7NML31VE8.jpg)

Meta Reinforcement Learningとは何か
• 「与えられた複数のタスクやドメインを使って、学習対象となるタスクやドメ
インに対する学習器のバイアスを決定するためのメタ知識を獲得する」
– 通常のメタラーニングの意味
– 2018/12/14の阿久澤さんの発表資料を参考にしています
• メタ強化学習では、タスクやドメインにMDPを、学習器にエージェントを当
てはめる
• つまり、
• 「与えられた複数のMDPを使って、学習対象となるMDPに対するエージェン
トのバイアスを決定するためのメタ知識を獲得する」
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/YJ9N495VJ3.jpg)

Markov Decision Process
• MDPは&lt;S, A, T, R&gt;の4つ組で表される
–
–
–
–
S：状態の有限集合
A：行動の有限集合
T：遷移関数
R：報酬関数
• MDPを変更する ⇔ この4要素のどれかに手を加える
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/GJ8KQ9Y4ED.jpg)

具体的なメタ強化学習用タスク
•
•
•
•
•
•
Dir vel HC Ant
Disable HC Ant
HC difficult
ハーロウ
Navigation
多椀bandit
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/LJLZXW4V7R.jpg)

Direction and velocity control in Half Cheetah and Ant
Direction: 報酬関数が、
進む向きによって変わる
Velocity: 報酬関数が、
進む速度によって変わる
MAML, SNAILにて実験
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/47MVL9KN7W.jpg)

Disabled joint or leg in Half Cheetah and Ant
関節や、脚が不自由になる
テスト時には訓練時に不自由にならなかった関節が
不自由になるものも試している
Model Based MAMLで実験
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/P7R2KGX4J9.jpg)

Half Cheetah with difficult environment
傾斜のついた坂や、水の上に浮かんでいるような
ダイナミクスになる床をタスクにしている
坂の傾斜や、床の動き方を変化させる
Model Based MAMLで実験
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/PJXDLX6ZEX.jpg)

ハーロウの実験
ランダムな２つの物体の
どちらか片方を選択すると正の報酬で、
もう片方だと負の報酬
2つの物体は6回連続で出現する
Prefrontal Cortex as a meta
reinforcement learning systemにて実験
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/3JKXLW1VED.jpg)

Navigation Task
一人称画像入力を元に、迷路のゴールを見つける
タスクが変わる毎に、迷路の形状が変化する
RL2, SNAILで実験
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/LE3531NQJ5.jpg)

多椀Bandit
• スロットマシンの確率分布をタスクとみなす
RL2, SNAILにて実験
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/8EDD4XWWEG.jpg)

各タスク毎のMDP対応早表
S
A
T
R
Dir vel HC Ant
✗
✗
✗
❍
Disable HC Ant
✗
❍
✗
✗
HC difficult
✗
✗
❍
✗
ハーロウ
❍
✗
✗
❍
Navigation
❍
✗
❍
✗
多椀bandit
❍
✗
✗
✗
❍がタスク生成時の変更箇所で、✗がタスクで共通しているもの
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/V7PXMP9XE8.jpg)

How to solve these problems?
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/2JVL92M37Q.jpg)

How to solve these problems?
A) Model Based RL
B) MAML
C) Model Architecture
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/5EGXZRGYJL.jpg)

How to solve these problems?
A) Model Based RL
B) MAML
C) Model Architecture
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/4JQ8LVX67P.jpg)

Model Based RLによるメタRL
• Modelの学習は教師あり学習とみなすことができる
– f(s_t, a_t) = s_{t+1}
• Learning to Adapt Dynamic, Real-World Environments through MetaReinforcement Learning
– モデルの学習にMAMLとRNNベースのoptimizerを用いる
• Meta Reinforcement Learning with Latent Variable Gaussian Processes
– モデルに、潜在状態をもつガウシアンプロセスを採用
– 潜在状態をタスクごとに推定する
• そもそも論として、報酬関数が手に入る状況では、単純なモデルベース強化学
習だけでRに関するタスクの変動に対応可能
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/K742DM6MJ1.jpg)

How to solve these problems?
A) Model Based RL
B) MAML
C) Model Architecture
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/LJ1MZ8VYEG.jpg)

Model Agnostic Meta Learning
• 勾配法で学習しているモデル全般に使えるメタラーニング手法
– タスク毎にアップデートされたパラメータを元にメタロス関数を計算し、
アップデート前のパラメータを最適化する
• 勾配法で学習する強化学習アルゴリズムに適用可能
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/GJW39ZL1J2.jpg)

How to solve these problems?
A) Model Based RL
B) MAML
C) Model Architecture
19


# Page. 20

![Page Image](https://bcdn.docswell.com/page/4EZV91MXJ3.jpg)

Model Architectureによるメタ強化学習
• 記憶装置をもたせたモデル構造を使用し、状態だけでなく自身が行った行動と
報酬を入力にする
– 強化学習が時系列タスクであることを利用している
– s_t, a_t, s_{t+1}を入力に持っているので、（暗に）MDPの変化を見ることができる
– エピソード間で記憶装置を引き継ぐことも可能（異なるMDP間では引き継がない）
20


# Page. 21

![Page Image](https://bcdn.docswell.com/page/Y765KLNPEV.jpg)

RL2: Fast RL via Slow RL
• アーキテクチャにRNN（GRU）を採用
• MDP毎に隠れ状態をリセットする
21


# Page. 22

![Page Image](https://bcdn.docswell.com/page/G75YP15P74.jpg)

A Simple Neural Attentive Meta-Learner
• アーキテクチャにWaveNetとAttentionを組み込んだものを採用
オレンジ：Temporal Convolution
緑：Causal Attention
22


# Page. 23

![Page Image](https://bcdn.docswell.com/page/9J2G61NZJR.jpg)

Prefrontal Cortex as a Meta-Reinforcement Learning System
• アーキテクチャにLSTMを採用
• アーキテクチャの論文というよりは、前頭前皮質におけるドーパミンの働きを、
報酬関数を入力にしたLSTMで模していると主張
• 結果的にメタ強化学習になり、心理学の分野で行われているような実験（ハー
ロウの実験）の結果を再現する（？）
23


# Page. 24

![Page Image](https://bcdn.docswell.com/page/DEYV9ZPNEM.jpg)

A, B, Cのうち、どの手法を使ったらいいのか？
24


# Page. 25

![Page Image](https://bcdn.docswell.com/page/VJNML35V78.jpg)

Direction and velocity control in Half Cheetah and Ant
Direction: 報酬関数が、
進む向きによって変わる
Velocity: 報酬関数が、
進む速度によって変わる
MAML, SNAILにて実験
25


# Page. 26

![Page Image](https://bcdn.docswell.com/page/YE9N49YVE3.jpg)

B（MAML）とC（Model Architecture）の比較
• 方向や速度による報酬関数の変化タスク（with HC, Ant）での比較
• ずるい比較ではあるがModel Architectureの圧勝
– 見たことがあるタスクが来るなら、Model Architectureを用いるほうがよい？
– MAMLは学習のステップがある分不利
26


# Page. 27

![Page Image](https://bcdn.docswell.com/page/GE8KQ9647D.jpg)

Disabled joint or leg in Half Cheetah and Ant
関節や、脚が不自由になる
テスト時には訓練時に不自由にならなかった関節が
不自由になるものも試している
Model Based MAMLで実験
27


# Page. 28

![Page Image](https://bcdn.docswell.com/page/LELZXW9VJR.jpg)

Trainで見たこと無いタスクがTestで出てくる場合１
• Disabled joint or leg（with HC, Ant）
– 不自由になるjointやlegが、meta trainingの時と違う場合もテストしている
• Model Based MAMLとMAML-RLで実施
• Sample効率ではModel Based MAMLが圧倒
– 最終スコアはMAML-RLが強い
• これ系のタスクでModel Architecture系はどこまで頑張れるのか（未実験）
– ある意味、強化学習の汎化問題ともいえる気がする（？）
28


# Page. 29

![Page Image](https://bcdn.docswell.com/page/4JMVL9ZNJW.jpg)

まとめ
• メタ強化学習とは何か、既存のメタラーニングの定義に沿って表現
• メタ強化学習で使われる評価タスクについて、MDPの対応関係をまとめた
• 具体的なメタ強化学習手法について紹介
• メタ強化学習手法間の関係性について結果比較
29


# Page. 30

![Page Image](https://bcdn.docswell.com/page/PJR2KG64E9.jpg)

感想
• メタ強化学習を俯瞰的にまとめてみました
• まとめることで、まだ取り組まれていない課題や新たな可能性が広がることを
期待
– 各手法間の適用可能環境
– メタ学習器の構成方法
• 実務応用的観点から言うと、
– どこをメタにして環境を作成するか
– メタにした部分は学習可能なのか
– それに適したアルゴリズムは？
• など、環境定義の部分から様々な配慮が必要であると感じた
30


