---
title: [DL輪読会]Deep Direct Reinforcement Learning for Financial Signal Representation and Trading
tags:  #deep learning #reinforcement learning #financial #sig  
author: [Deep Learning JP](https://www.docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/4EMVQNZPEW.jpg?width=480
description: 2017/11/13 Deep Learning JP: http://deeplearning.jp/workshop/
published: November 14, 17
canonical: https://www.docswell.com/s/DeepLearning2023/57V1JD-dldeep-direct-reinforcement-learning-for-financial-signal-representation-and-trading-82026474
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/4EMVQNZPEW.jpg)

DEEP LEARNING JP
[DL Papers]
Deep Direct Reinforcement Learning for Financial Signal
Representation and Trading
Kunihiro Miyazaki, Matsuo Lab
http://deeplearning.jp/
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/PER28D6Y79.jpg)

)7$
• タイトル
– Deep Direct Reinforcement Learning for Financial Signal Representation and Trading
• ジャーナル
– IEEE transactions on neural networks and learning systems
– IF: 6.108 as of 2016
• Date of Publication
– 15 February 2016
• 引用数
– 13
• 著者
– Yue Deng, Feng Bao, Youyong Kong, Zhiquan Ren and Qionghai Dai
– ¨Â}~ 

• 一言で
– DLRL8IM7*K.016B)Y
2017/6/2
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/P7XD81M4JX.jpg)

( : 

• 元々金融系の研究をしている
• DLによる金融時系列情報からの特徴量抽出
• RLによる金融商品トレーディング
– OÊ2ÚÃeØ?58&
_·‘Å)´&
• まだDLでトレーディングを試みている論文は少ない
2017/6/2
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/37KXK2GPJD.jpg)

'19?<4-+
3@
• 金融における機械学習応用は様々
1.
2.
3.
4.
5.
ÚÙºg%¬ŒÙ’d
G6MHä\Þ
ÛÄåÁk¸
VɚÕnLI0M8Í"p&
AM/58I@M8ÁkY
=5.7M4)®»©”¤Rª etc
• æt
N°à

• 効率的市場仮説
–
z[¢ay½&Ò!(&
ƒžRª
UÌ
• ÐÏe('
– U
2017/6/2
zRªqÀ

(#
z;+2|
• ÜÔ~¾
6-:,HeŸ
¯^ǟT41-Ô
• =>DL%Rª 'ç
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/LJ35Z4N475.jpg)

0.
•
•
•
•
•
問題設定
提案手法
実験と結果
考察
感想
2017/6/2
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/8JDDRQW5JG.jpg)

=5!
• 2つの問題設定
– ÚÙºg%¬ŒÙ’d
– 8IM9€Äk±c­
• 以下の二つを統合した、
• Direct Reinforcement Learningによる金融トレードシステムを
提案
– Fuzzy Learning)„`
– Task-aware BPTT
2017/6/2
RNN
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/VEPXWL9DJ8.jpg)

Direct Reinforcement Learning
•
•
•
•
•
R: 時間t毎の利得
δ: ポジション {1,0,-1}
c: 決済のコスト
z: 前の時刻からのリターン
u: ポジション変更のコスト
•
•
•
g: NNのマッピング
a: 前の層からのインプット
o: ある層のアウトプット
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/27VL8QMGEQ.jpg)

Fuzzy Learning
• 株価にはその会社の本質の価値だけでなく、
マーケットのセンチメントや会社の噂など、
数多くのファクターで成り立っている
• メンバーシップ関数を用いることで、より
ロバストな学習が可能
– Sw
k=3䈥
‡¥
:EM8FHåC
K<M05>j&•'
•
v: メンバーシップ関数
R→[0,1]
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/5JGX5WXD7L.jpg)

Task-aware BPTT
• Fuzzy Learningは、実装する上で膨大な
潜在変数に対処しきれない
– hœ]ËTask-aware BPTT‚c
• 初期値の設定
– DNN PartAutoEncoderZ®
• Task-aware BPTT
– Rewardݗ%³–BPTTtime stack
äÑF+Kå
•
2017/6/2
BP)Ä
($&
Rewardݗ%m×)rstack
'  '
W
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/47Q8Z38XEP.jpg)

Task-aware BPTT,6
• Task-aware BPTTを用いるとロバストな学習ができる
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/KE42312271.jpg)

">2* - /#;
• 使用したデータ
– 185-+K75-1_«äIFå
• O§OX300¡+K75-1
• QxÚÃvuš#¦kŽã_«
– vu_«
• ÛäAGå
• µ¹äSUå
TC: 決済コスト
– bã¦kŽ
• 特徴量
– Óo45m
3h
5h
1d
3d
10d[¢{n
• 約1年のデータをtrainとtestに分割
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/L71M1GMKJG.jpg)

">2* - 
2*
• DLを用い、最初に
Fuzzy_learningを用い
る程結果は良くなる
– 7M4L358#
s£ È
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/G7W38K3P72.jpg)

">2* -
• S&Pのデータで実験
– Qx7M4s£¼

,6
‹%(
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/4JZV8ZV673.jpg)

">2* – 

,6
• パラメータを変更した結果
– ;M9—I+DM—¼ P
– τ— !‰á
2017/6/2
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/YE65PZ5LJV.jpg)

28&%
• 結論
– ¬»©”¤)`(
7M4"k
i²)‹'ÆÒ")‹
• €ß8IM7*K.€l)¿(
ˆn~¾8IM7*K.

– Fuzzy Leaning)®' 
ÚÙºg#J<18~¾
¶ 
– Õf~¾œÜ)ÖSŠÎâ
'
)
• 感想
– DL)®(ÚìŒ)’d ' ¶ (
– DLAM/58)~¾ ' †›“'Ϙ
2017/6/2
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/GE5YKWYME4.jpg)


2017/6/2


16