[DL輪読会]Economy stastistical recurrent units for inferring nonlinear granger causality

DEEP LEARNING JP [DL Papers] ECONOMY STATISTICAL RECURRENT UNITS FOR INFERRING NONLINEAR GRANGER CAUSALITY Akitoshi Kimura, Taniguchi Lab, Waseda University http://deeplearning.jp/ 1

• http://deeplearning.jp/

書誌情報 • 著者: – Saurabh Khanna • Department of Electrical and Computer Engineering, National University of Singapore – Vincent Y. F. Tan • Department of Electrical and Computer Engineering, Department of Mathematics, National University of Singapore • 学会: – ICLR 2020, Accept (Poster) 2

概要 • 非線形な相互作用を持つ確率過程における Granger 因果性 • Statistical Recurrent Unit (SRU) network のパラメータを penalized mean squared prediction error loss で推定 • (Overfitting を避けるために) Economy SRU を提案 • 各種実験で, MLP, LSTM, TCDF より良好な結果 3

背景: Granger 因果性 • 変数 A の予測誤差が, 予測モデルに変数 B を入れると減少す るとき「B から A の Granger 因果性が存在する」という – 通常 VAR モデルの OLS 残差を比較検討する (Causality test) 4

モデル • 非線形自己相関モデル – (線形) VAR モデルの拡張になっている 5

非線形動的システムにおける Granger 因果性 • 任意の , 任意の異なる , に対し, が成り立つとき「j から I への Granger 因果性を持たない」 • をパラメータ付けされた近似関数 で置き換える – : の全パラメータ – MLP, LSTM, TCDF, SRU, eSRU 6

SRU Model 7

SRU Model • Scales: 8

SRU Model におけるパラメータ推定 : の第 j 列 – もし 0 であれば,「j から I への Granger 因果性を持たない」 9

eSUR: フィードバックの低次元化 = 10

eSUR: グループスパース正則化 • Time-localized, component-specific などの, 現実世界におけ る因果効果の特徴を捉える 11

グループスパース正則化概念図 • 各 time scale で少数の に依存するよう制約 12

実験 1 • Lorenz-96 model – 気候科学におけるモデリング、予測に使われる 13

実験 2 • VAR(3) モデル 14

実験 3 • 脳の各領域 (n=15) での血液酸素レベル依存イメージング – 脳の神経活動の因果性推定 15

実験 4 • DREAM-3 IN SILICO NETWORK INFERENCE CHALLENGE – 遺伝子調節ネットワークの推定 16