[DL輪読会]Intrinsic Motivation and Automatic Curricula via Asymmetric Self-Play

DEEP LEARNING JP [DL Papers] ”Intrinsic Motivation and Automatic Asymmetric Self-Play” (ICLR 2018) Curricula via Tatsuya Matsushima, Matsuo Lab http://deeplearning.jp/ 1

• http://deeplearning.jp/


 ���������������������������������������������������������������� ���� • ��������� ������������������ ��������������������������������������� ������������������������ • ������������������������������������ • ���������������������������� – �������������������������������������� �� – ������� • �������������������� 2


 ��������� • ������������������������� – �������������������������� • ��������������������������������� ������ ������������ • ������������������� ������� • ��������������������������������������� 3

 • ����������������������������� • �������������B����� – ���������������������������B�� – ������������������������ ��������������������������������� • ����B�����B�����������B ����������������������������� • ��������������������������������B ���������� 4



()


 

•  (  +HFI)>C
– )#-

• MPK',

 

 +.)O?

– ,*(%&82719)4<:;0ED$/+'
– 
,BL',)!653+GD0@"(0NA$J'=)/

5

()
  
   
• hd9A@?>lv50/8KO9DBE>JY.<1:8wu
•  7op4JY>V&
• [`>qr,1I]>]'3(*9)GkLb

– g-[`9dN9ra#[`8;<JY9iFe)Ux+=7%ra)_X

• !
TM\"9wu  
  

– Vf>521Q9jy9hcmP>t^,#t^RW>wu
– 
 
 76@C$@7nZH4sS

6

()  
  
/������������� • ��������������������� • ������������������� – ������������ • ����������������� – ������������������������������������������������������������������������������ – �������������Y�����U������������ �����������������U 7


 • ��������������������� • ���������������������������� – ����������������������������� • !" ��!# ���������� – ������������������������������ • ���������������!# ��!" ��������� ����!" ��!# ���������� 8


 • ��������� – ������������ – �������������� – !" ����������������������� ������������ !# ������������������������ ������!$%& ������������� !# = !$%& − !" ��� )������������������ 9



•   &%$962.

/@4

•  
 !"#$ &%$!, @4
  ,+?-:&%$!58 0<
– =  ;1"*#()'!3>76



10



 11



3,5+
• B1.9 <0-:=
• 8'4=*>&!"#C<  2
• 
  ()7%$"#6 A?
– /5+D;

@

12


%& $#"), -(*!'+ • 


   •    •   –    –   •    13


 1

 
 
  
• RKJIU:ND2C` L`4D!N!_Q3.
• >#<?@>=;6a+e[21930
)3>=;4YG24041$
•  279\Xg'M&-,

– 4H]1>=;&8P5
T"2b*(19
– h4deFW2E+/B#A=cS:
f%^O:ZV*,

14


 2
  
• 62B5<@C!"),-.',=:
– D>A+!-"*83

•  
  /1 94
• &$(*&%#0;?7

15


 2
 
•  
 !'9;28! (>G*DCB@
1-341/,"%<AB@')&
.;7:=I?$
•  
 E#+605*F!
 "1/,H 

16


3 ����. ��:���������� • ������������� • �������������kd����� • ����(:.���������������������������� – ��������� �����������:�������������:��������������:��:���������������� 17


3 ����� ������������ • ���������������� – ������������������������������������������ • ������������������ 18


4 ����� ��������������� • ���������������������� • ��������������������� ���������� – ���������������� • ���������������������� �������������� • �������(����������� – ��������������������� ������������������������������������������� 19


4 
    •   20


 5
   
• %($/,C9.-+,#>6!
– 51

2;

8.-+,#6!

@< 

• *'+,*)&0?.-+,#6:!
– 

!>6=4"BD

• 
  3A=4"#7

21


5     • 
 !   ! "#  22

(
)
• <9:+>



*,"&)2?/

– =6(& 3
;@'
– 8.74 0:%#$!-5 1?

&

23


• €rk1‘ƒ*+)S>
– f]@+3;+,h

•  V1o

1‹Op@gz&,>

^!(

– 4.=‰52€y1U|.Œ8(-Y†n

• ~uˆx0'>BCIBŽ_+,>/
–  ..
– Z7=1isp1ˆx €q'>W

'>

• f`0 
1[P\>.‚bw!"/+,>6

• ?<>TX1LIM@Rj&,>12’
– GEHJGFD1d02 1„a&c+,/
– l/".:mv1‡e{/Št@&,>?#-2/

•  }Q/10

KCN-2/+)$9A/%

24


A��������������������������������� • ������������������������������������������ A��������������������������������������������� • ������������������������������������������������������������� A���������������������������������� ���������������������������������� • �������������������������������� A������������������������������������������������������������������������ • �������������������������������� A�������������������������������������������������������������������������������������������� • �������������������������������� 25