[DL輪読会]Beyond Shared Hierarchies: Deep Multitask Learning through Soft Layer Ordering

>100 Views

March 09, 18

スライド概要

2018/3/2
Deep Learning JP:
http://deeplearning.jp/seminar-2/

シェア

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

DEEP LEARNING JP [DL Papers] “BEYOND SHARED HIERARCHIES: DEEP MULTITASK LEARNING THROUGH SOFT LAYER ORDERING (ICLR2018)” Naoki Nonaka, Matsuo Lab http://deeplearning.jp/ 2018/3/1 1

2.

書誌情報 著者:Elliot Meyerson & Risto Miikkulainen (The University of Texas at Austin and Sentient Technologies, Inc.) 学会:ICLR 2018 Accepted paper (Poster) (7, 7, 6) 2018/3/2 2

3.

背景 マルチタスク学習 関連する複数のタスクを同時に学習 させることで,これらのタスクに共通 の要因を獲得させ,タスクの予測精度 を向上させる(朱鷺の杜Wikiより) 深層学習によるマルチタスク学習 (Deep MTL) Single task Multi task Improving Machined Surface Variation Prediction by Integrating Multi-Task Gaussian Process Learning with Cutting Force Induced Surface Variation Modelingより 2018/3/2 3

4.

背景 (これまでの)Deep MTL ⇒ 少数のタスク and/or 類似するタスクでしか解かれていない (これまでの)Deep MTLの前提 • 学習された変換はタスク間で共有可能 【+ 暗黙的な前提】 • タスク間での共有は,モデル構造により決まる 特徴量の階層において,平⾏する層間でのみ⾏われる 層の順序が変わることを許可すれば,より柔軟なモデルが可能 2018/3/2 Task1 Task2 L4 L3 L4 L2 L3 L1 L2 層の順序が不変 4

5.

本研究で検証すること Deep MTLにおいて, üタスク間で層の順番が同⼀である必要性を検証 üタスクごとに共有される層の順番を変更することにより, 精度が向上するかを検証 2018/3/1 5

6.

先⾏研究 これまでのDeep MTL a. 関連するタスクを解く出⼒層を追加する⼿法 b. タスクごとに層を重ね,並⾏する層の間を結合する⼿法 c. ネットワークの中間層に出⼒層を追加する⼿法 d. 全てのタスクで核となるパラメータを共有し,少数のタスク特異的なパラメータを置く⼿法 2018/3/2 6

7.

検証 üタスク間で層の順番が同⼀である必要性を検証 ”Parallel ordering” Task1 Task2 L4 Task1 Task2 L4 L3 L4 L3 L2 L2 L3 L2 L4 L1 L2 L1 L3 層の順序が不変 2018/3/2 ”Permutated ordering” 層の順序を変更 7

8.

検証 タスク間で層の順番を固定しない”Permutated ordering”でも同程度の精度 2018/3/2 8

9.

提案⼿法 üタスクごとに共有される層の順番を変更することにより, 精度が向上するかを検証 ここまでのモデル “Parallel ordering” ⇒ タスク間で層の順番を固定 “Permutated ordering” ⇒ 学習時に層の順番をあらかじめ固定 層の順番をタスクごとに学習する⼿法 (”Soft ordering”) 2018/3/1 9

10.

提案⼿法 2018/3/2 10

11.

実験 1.提案⼿法によるDeep MTLの分類精度 1.関連あるタスク 2.(表⾯的に)関係のないタスク 3.CNNへの拡張 4.⼤規模データへの適⽤ 2.“Soft ordering”を⾏なった層の可視化 2018/3/1 11

12.

実験 Single task Task1 Task2 Task1 “Soft ordering” Task2 L4 L4 L3 L4 L3 L4 L2 L3 L2 L3 L1 L2 L1 L2 独⽴で学習 2018/3/2 ”Parallel ordering” 層の順序が不変 12

13.

実験 2018/3/2 13

14.

実験 表⾯的には関係のなさそうなUCIのデータセットを同時に学習 Iterationが増えると提案⼿法のErrorが減少 2018/3/2 14

15.

実験 CNNへの拡張 Omniglot(50種類の⽂字群のそれぞれを個別のタスクとしてマルチタスク学習) 提案⼿法により精度が向上 2018/3/2 15

16.

実験 ⼤規模データへの適⽤ CelebA(40種類の属性値がそれぞれ付与されるかを個別タスクとしてMTL) 提案⼿法により精度が向上 2018/3/2 16

17.

実験 2018/3/2 17

18.

今後の課題と結論 今後の課題 • Recurrent構造との関連の分析 • 共有している層の⼀般化 • ⼀般化できる層の学習 結論 • これまでのDeep MTLでは,層の順番が固定されていたが, その制約を軽減する”Soft ordering”を提案 • 複数のタスクにおいて,提案⼿法が既存⼿法を上回った 2018/3/2 18