---
title: 【ゼロから作るDeep Learning④】8.1~8.3
tags: 
author: [京都大学人工知能研究会KaiRA](https://www.docswell.com/user/kyoto-kaira)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/LELWV2XPJR.jpg?width=480
description: 【ゼロから作るDeep Learning④】8.1~8.3 by 京都大学人工知能研究会KaiRA
published: December 11, 25
canonical: https://www.docswell.com/s/kyoto-kaira/KLVDRG-2025-12-11-221709
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/LELWV2XPJR.jpg)

2025年度後期輪読会 #9 (12/11)
ゼロから作る DeepLearning❹ 8.1~8.3
DQN
大阪大学 基礎工学部 B4
緒方 克哉
1
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/4JM9G8L2EW.jpg)

自己紹介
• 所属
○ 大阪大学 情報科学研究科 B4
○ 中島研究室
• 興味分野，インターンとか
○ 動画解析
○ LLM
○ エムニでインターン
• 個人的な趣味とか
おがた かつや
緒方 克哉
○ 登山
○ 旅行
○ 開発
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/PJRGZ5K5E9.jpg)

アジェンダ
■ OpenAI Gym
■ Experience Replay
■ Target Network
■ DQNを動かす
■ まとめ
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/PEXX9KLXEX.jpg)

アジェンダ
■ OpenAI Gym
■ Experience Replay
■ Target Network
■ DQNを動かす
■ まとめ
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/3EKWP5L9ED.jpg)

OpenAI Gym
強化学習で使用できる環境を集めたライブラリ
様々な環境を集め、インターフェースを共通化
することにより、環境の変更を容易にしてくれ
るライブラリ
ref: https://gymnasium.farama.org/introduction/basic_usage/
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/L731XK39J5.jpg)

OpenAI Gym
強化学習で使用できる環境を集めたライブラリ
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/87DX2348EG.jpg)

アジェンダ
■ OpenAI Gym
■ Experience Replay
■ Target Network
■ DQNを動かす
■ まとめ
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/VJPP14MWJ8.jpg)

Experience Replay (経験再生 )
エピソードをバッファして学習を行う
• 強化学習に深層学習を適用する時の問題点
○ 従来の深層学習
■ 学習データは独立しているという仮定
■ ミニバッチで学習する際に偏りがないようにピックアップする
○ 強化学習
■ エピソードを学習データとすると、経験データ間に強い相関が出る
■ e.g. (t-1)の時の行動と状態はtの時の行動に強く影響を与える
• 解決策
○ 経験データをどこかにバッファしておく
○ 学習時は経験データをランダムにピックアップして学習する
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/2EV2YX99EQ.jpg)

Experience Replay (経験再生 )
エピソードをバッファして学習を行う
•
バッファのデータ構造はqueueを使う
○
バッファサイズを超えたら古いものを置き換
える
•
状態・行動・報酬・次の状態・終了したか(done)を
1つの経験データとしてバッファする
•
取り出す時(学習時)は、バッチサイズを指定して
ランダムに取り出す
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/57GR9VZ4EL.jpg)

アジェンダ
■ OpenAI Gym
■ Experience Replay
■ Target Network
■ DQNを動かす
■ まとめ
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/4EQVW6LRJP.jpg)

Target Network (ターゲットネットワーク )
TD誤差のターゲットを固定する
• (復習) Q-Learningの学習方法
• 問題点
○ 学習の目標はR+γQ(ターゲット)にQを近づけていくこと
○ だが、Qを更新すると、ターゲットも変わってしまう
• 解決策
○ ターゲットを固定しておき、一定期間おきに更新を行う
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/KJ4MK4DQE1.jpg)

Target Network (ターゲットネットワーク )
TD誤差のターゲットを固定する
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/LE18X4ZL7G.jpg)

Target Network (ターゲットネットワーク )
TD誤差のターゲットを固定する
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/GEWZNX9QE2.jpg)

アジェンダ
■ OpenAI Gym
■ Experience Replay
■ Target Network
■ DQNを動かす
■ まとめ
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/47Z13693J3.jpg)

DQNを動かす
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/YJ6LX2KZEV.jpg)

DQNを動かす
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/GJ51X2P974.jpg)

アジェンダ
■ OpenAI Gym
■ Experience Replay
■ Target Network
■ DQNを動かす
■ まとめ
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/9E21X465JR.jpg)

まとめ
• DQN
○ Deep-Q-Learning
○ 強化学習と深層学習を組み合わせた手法
• Q-Learningに工夫を加えることで深層学習を適用することができる
○ Experience Replay (経験再生)
○ Target Network (ターゲットネットワーク)
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/D7YZ8M96JM.jpg)

QA
• なぜ深層学習において学習データに偏りがあってはいけないのか？
○ 勾配の方向が安定せず、偏りがあったら過学習を起こすため
○ 直近の似たようなデータばかり学習し、前のデータの忘却を防ぐため
• ターゲットネットワークを使わないとどうなるか
○ 振動 or 発散
○ 自分の尻尾を追いかける犬みたいな感じ
○ sync_interval=1にしてもある程度学習はしてた
• 学習曲線が激しく上下するのはなぜ
○ 多分ε-greedyによるもの
○ あとは強化学習そのものがハイパーパラメータに敏感で不安定であるから
19


