---
title: 【DL輪読会】1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities
tags: 
author: [Deep Learning JP](https://www.docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/GJ89L1RVED.jpg?width=480
description: 【DL輪読会】1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities by Deep Learning JP
published: January 29, 26
canonical: https://www.docswell.com/s/DeepLearning2023/58W7GQ-2026-01-29-173722
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/GJ89L1RVED.jpg)

DEEP LEARNING JP ”1000 Layer Networks for Self-Supervised RL:
Scaling Depth Can Enable New Goal-Reaching Capabilities”
[DL Papers]
Kensuke Wakasugi, Panasonic Holdings Corporation.
http://deeplearning.jp/
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/LJLWLQKR7R.jpg)

書誌情報
◼ タイトル：
1000 Layer Networks for Self-Supervised RL:
Scaling Depth Can Enable New Goal-Reaching Capabilities
◼ 著者：
Kevin Wang 1, Ishaan Javali 1, Michał Bortkiewicz 2,
Tomasz Trzci´nski 2, Benjamin Eysenbach 1
◼ 所属：1 Princeton University、2 Warsaw University of Technology
◼ 出典：NeurIPS 2025 Best paper
https://arxiv.org/abs/2503.14858
https://openreview.net/forum?id=s0JVsx3bx1
◼ 選書理由
• 画像・言語系では実績のある深いNNのスケーリングが、強化学習においてどのように実現されたのか
• スケーリングと合わせて、どのような知見が獲得されたのか知りたい
特に記載がない限り、本資料の図表は上記論文からの引用です
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/47M9M12PJW.jpg)

概要
強化学習において、アーキテクチャサイズ増による性能向上を確認
depth64
depth 32以下
depth64で
性能が急激に高上
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/P7RGVLMYJ9.jpg)

背景
強化学習（RL）におけるスケーリングが難しい
• 画像や自然言語では、トランスフォーマー・自己教師あり学習を組み合わせて
大規模モデルを学習し、性能向上を達成している
• しかしながら、RLではスケーリング困難とされる
※パラメータが活用できていない、データがスパース、学習が不安定等
• 模倣学習、MoEなどの特定の問題に限定されている。
• あるいは、アーキテクチャのスケーリングとして、幅のスケーリングは報告あり
シンプルな構成で深さ方向のスケーリングを示した
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/PJXXZWV4JX.jpg)

Contribution
従来できなかったRLにおける(深さ方向の)スケーリングを実現
• Empirical Scalability:
パラメータの増加に応じて、ベースライン比20倍越えの性能を示した。
• Scaling Depth in Network Architecture:
既存研究では幅のスケーリングは示されていたが、
深さのスケーリングによって、それ以上の性能向上を示した。
• Empirical Analysis:
解析を行い、スケーリングにおける重要な要素を提示
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/3JKW8VQPJD.jpg)

ゴール条件付きRL ＋ 対照学習 の定式化
ゴール条件付きRL
ゴール条件付きMDP
遷移確率
ゴール条件付きポリシー
報酬関数
（1ステップでゴール
到達する確率密度）
割引状態訪問分布
Q関数
𝑀𝑔 = (𝑆, 𝐴, 𝑝0 , 𝑝, 𝑝𝑔 , 𝑟𝑔 , 𝛾)
𝑝(𝑠𝑡+1 ∣ 𝑠𝑡 , 𝑎𝑡 )
𝜋 𝑎 𝑠, 𝑔
𝑟𝑔 𝑠𝑡 , 𝑎𝑡 ≜ 1 − 𝛾 𝑝(𝑠𝑡+1 = 𝑔 ∣ 𝑠𝑡 , 𝑎𝑡 )
𝜋 ⋅ ⋅, 𝑔
𝑝𝛾
𝑄𝑔𝜋 𝑠, 𝑎
∞
𝜋 ⋅ ⋅, 𝑔
(𝑠) ≜ 1 − 𝛾 ෍ 𝛾 𝑡 𝑝𝑡
𝜋 ⋅ ⋅, 𝑔
≜ 𝑝𝛾
(𝑠)
𝑡=0
𝑔 𝑠, 𝑎
参考過去発表（稲富さん）
【DL輪読会】Contrastive Learning as Goal-Conditioned Reinforcement Learning November 18, 2022
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/LE312MP475.jpg)

ゴール条件付きRL ＋ 対照学習 の定式化
ゴール条件付きRL
報酬関数
（1ステップでゴール
到達する確率密度）
𝑟𝑔 𝑠𝑡 , 𝑎𝑡 ≜ 1 − 𝛾 𝑝(𝑠𝑡+1 = 𝑔 ∣ 𝑠𝑡 , 𝑎𝑡 )
∞
ポリシーの目的関数
（期待割引報酬の最大化）
max 𝐸𝑝0 (𝑠0 ),𝑝𝑔 (𝑔),𝜋 ⋅ ⋅, 𝑔
𝜋
෍ 𝛾 𝑡 𝑟𝑔 𝑠𝑡 , 𝑎𝑡
𝑡=0
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/8EDXZ6L5JG.jpg)

ゴール条件付きRL ＋ 対照学習 の定式化
対照学習
Critic
𝑓𝜙,𝜓 𝑠, 𝑎, 𝑔 = |𝜙 𝑠, 𝑎 − 𝜓 𝑔 |2
𝐵
InfoNCE 目的関数
（critic の学習）
Policy（actor）の
最適化
min 𝐸𝐵 − ෍ log
𝜙,𝜓
𝑖=1
𝑒 𝑓𝜙,𝜓 𝑠𝑖,𝑎𝑖,𝑔𝑖
経路上にあるgに対しては、
L2ノルムを小さく、それ以外に
ついて大きく学習する
𝑓𝜙,𝜓 𝑠𝑖 ,𝑎𝑖 ,𝑔𝑗
σ𝐾
𝑒
𝑗=1
max 𝐸𝑝0 (𝑠0 ),𝑝(𝑠t+1 |𝑠𝑡,𝑎𝑡),𝑝𝑔 (g),𝜋𝜃 𝑎 𝑠, 𝑔 𝑓𝜙,𝜓 𝑠, 𝑎, 𝑔
𝜋𝜃
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/V7PPDY2D78.jpg)

アーキテクチャ
Dense+LayerNorm＋Swish と 4層Residual Connection で構成
• シンプルな構成で4~1024層迄を構築
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/2JV21GDGJQ.jpg)

実験環境
GPU、各種ベースラインアルゴをサポートしたJaxGCRL環境で検証
• GPUサポートや
各種ベースラインアルゴを利用可能
https://github.com/MichalBortkiewicz/JaxGCRL
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/5EGR28VDJL.jpg)

深さのスケーリング
強化学習において、アーキテクチャサイズ増による性能向上を確認
depth64
depth 32以下
depth64で
性能が急激に高上
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/4JQVP96X7P.jpg)

ベースライン手法との比較
8/10のタスクで既存手法を凌駕
• 一部タスクにおいて
序盤のサンプル効率で劣っていたか
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/K74MYX42J1.jpg)

臨界深度と特徴的な行動の獲得
タスクごとに臨界深度を確認。新たな行動の獲得に寄与
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/LJ186N4KEG.jpg)

スケーリングに重要なのは何か？
幅よりも、深さの方がより効果的にスケーリング
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/GJWZW4XPJ2.jpg)

スケーリングに重要なのは何か？
Actor/Criticは双方重要
• タスクによって、
臨界深度がActor/Critic双方に見られる
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/4EZ1526673.jpg)

バッチサイズスケーリング
深いNNによってバッチサイズスケーリングにも効果が
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/Y76L9V2LJV.jpg)

1024層の学習
Humanoid U Mazeはさらなる性能向上の可能性も
• 1024層まで実験（計算リソース上限）し
性能改善を確認
※Open reviewより
1,000 層のネットワークを含むすべての実験は、
単一の 80 GB A100 で実行できるとのこと
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/G751ND2ME4.jpg)

スケーリングでなにが変わったか
周囲環境の理解が改善。リュークリッド距離に依存しないQ関数を獲得
• 4層では、ユークリッド距離を評価し壁に向かってしまう
→64層では、解消
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/9J21584R7R.jpg)

表現能力と探索能力の相乗効果
データカバレッジと表現能力の両方が重要
検証内容
• Collector(４層/32層)を用意し、
リプレイバッファをためる
• 同じリプレイバッファを使い、
Deep（32層)と
Shallow（４層）を学習
19


# Page. 20

![Page Image](https://bcdn.docswell.com/page/DEYZK6M57M.jpg)

層の深さと潜在空間の使い方
深い方が、ゴール付近をより広い領域で表現
20


# Page. 21

![Page Image](https://bcdn.docswell.com/page/VJN3RZW4J8.jpg)

小タスクの統合能力
層を深くすると、徐々にタスクの統合能力を獲得
• 層を深くする毎に、
事前タスクを組み合わせてタスクを解くことができるように
21


# Page. 22

![Page Image](https://bcdn.docswell.com/page/YE99MZX4E3.jpg)

スケーリングは対照強化学習だけで有効か？
基本は対照強化学習のみ、一部CBCGでも確認
• GCBC（Goal-Conditioned Behavioral Cloning）
でスケーリングを確認
→その他の手法でスケーリングする可能性を示唆
• 別途OGBenchでオフライン学習への効果を検証するも
効果を確認できず
22


# Page. 23

![Page Image](https://bcdn.docswell.com/page/GE89L12V7D.jpg)

まとめ
対照強化学習において、層のスケーリングによる性能向上を実現
• Dense+LayerNorm＋Swish と ResNet、および、対照学習という
シンプルな構成でスケーリングによる性能向上を達成
• バッチスケーリングや、事前学習スキルの統合など、深層化による恩恵を示した。
• 主に対照強化学習での性能向上であり、他手法での貢献は今後の課題
所感
• ResNetやNormなど、深いNN(～1000層)の学習では常套手段だが、
対照学習との組み合わせて初めて効果が出たかということか？
• 現在地点として、訓練時の分散を抑えられた(訓練誤差を小さくできるようになった)と考えると、
今後は、まずは大規模化による高次特徴獲得、次いで、高効率な学習や汎化性能の獲得と
いった方向性が予想されるか？
23