The IdolM@ster kisscartoonのページ一覧

“Bridging the Gap: A Survey on Integrating (Human) Feedback for Natural Language Generation” Human Feedbackにおける課題 | Feedback Type Limitations • フィードバックの種類と効率さのトレードオフ • 2つ...

【DL輪読会】Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedbackの#P9

“Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer” C4 | 大規模データセットでの事前学習の始まり • 2019年4月のCommonCrawlをもとに作られた英語データセット(156B token)...

【DL輪読会】事前学習用データセットについての#P8

“Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer” 事前学習用データセットの質・量と下流タスクの性能の関係性 • ベースモデル: 220M params, 34B tokenでの学習前処理の効...

【DL輪読会】事前学習用データセットについての#P9

Filtering the Model • API実行結果のフィルタリング • API call位置iから後続の単語の予測確率の重みつきcross entropy lossを計算 • 重みはAPI call位置から遠くなるほど小（5つ先で0の値） • API callなしと比...

【DL輪読会】Toolformer: Language Models Can Teach Themselves to Use Toolsの#P7

Decoding the latent representation with a query array • Qには出力に必要な構造が含まれている必要がある – クラス分類 • 使い回しのできる, 学習で得られる値 – 空間構造やシーケンス構造を持つ出力 • 複合され...

【DL輪読会】Perceiver io a general architecture for structured inputs & outputsの#P16

off-the-grid 時の CONVCNPs Theorem 1 の証明から残りの関数 φ と ρ は決まる： ψ ：定常性/非負/正定値を持つカーネル X 指数二次 (exponentiated-quadratic; EQ) カーネルの選択が自然 X φ との積で関数表現 E(Z)...

[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介の#P27

off-the-grid 時の順伝搬 1 2 3 4 5 6 7 8 9 10 require: ρ = (CNN, ψρ ), ψ, density γ ∗ M require: context (xn , yn )N n=1 , target (xm )m=1 begin ∗ M lower, upper ← range (xn )N n=1 ∪ (xm )m=1 (ti )...

[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介の#P28

off-the-grid 時の順伝搬のイメージ 1. 観測点が与えられたときに，観測点の密度と値を使って関数表現を獲得 2. 格子状のデータ点を用意し，各点での平均と分散を畳み込んで計算 3. 格子点間の点における平均と分散...

[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介の#P29

on-the-grid 時の ConvCNPs 主に画像を入力にするときの場合を考える：ベンチマークでは画像補完タスク off-the-grid の時に比べて実装は簡単ピクセルの位置を利用画像 I ∈ RH×W ×C に対し，context マスク Mc を...

[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介の#P30

on-the-grid 時の順伝搬 1 2 3 4 5 6 require: ρ = CNN, E = CONVθ require: image I, context Mc , target mask Mt begin // We discretize at the pixel locations. Zc ← Mc I // Extract Context set. h ← CONV...

[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介の#P31

How the Softmax Activation Hinders the Detection of Adversarial and Out-of-Distribution Examples in Neural Networks n 所感: この現象は誰もが感じていたのではないだろうか

[DL輪読会]ICLR2020の分布外検知速報の#P11

Bounding the Sub-Optimality of Composed Policies Appendix A KL-divergence Qc*overestimate 7

[DL輪読会]Composable Deep Reinforcement Learning for Robotic Manipulationの#P7

Bounding the Sub-Optimality of Composed Policies D , γC* 8

[DL輪読会]Composable Deep Reinforcement Learning for Robotic Manipulationの#P8

3 The Three Layer Causal Hierarchy Level (Symbol) 1. Association P (y|x) Typical Activity Seeing Typical Questions Examples What is? How would seeing X change my belief inY ? 2. Intervention P (...

[DL輪読会]Theoretical Impediments to Machine Learning With Seven Sparks from the Causal Revolutionの#P8

参考 • The Conditional Analogy GAN: Swapping Fashion Articles on People Images http://openaccess.thecvf.com/content_ICCV_2017_workshops/papers/w32/Jetchev_The_Conditional_Anal ogy_ICCV_2017_paper.pdf...

[DL Hacks 実装]The Conditional Analogy GAN: Swapping Fashion Articles on People Imagesの#P18

References The Statistical Recurrent Unit, JunierB.Oliva BarnabasPoczos JeﬀSchneider, ICML2017 （画像はここから (p13 以外)） A Simple Way to Initialize Recurrent Networks of Rectified Linear Units,...

[DLHacks 実装] The statistical recurrent unitの#P16

Using the History of Refined Imagesの評価 • Without historyでの⽬の周りに⽣じる不⾃然さが，with history で抑制されている． • 視線推定の誤差が減る • With history: 7.8 degrees • Without history: 12.2 d...

[DL輪読会] Learning from Simulated and Unsupervised Images through Adversarial Trainingの#P18

Xception • The Inception hypothesis • 空間方向の相関とチャネル方向の相関は十分に分離できるという仮説 • 本論文 • 空間方向の相関とチャネル方向の相関は完全に分離できるという仮説 → "Extreme Incepti...

[DL輪読会]Xception: Deep Learning with Depthwise Separable Convolutionsの#P12

Bridging the Gaps Between Residual Learning, Recurrent Neural Networks and Visual Cortex Qianli Liao and Tomaso Poggio Center for Brains, Minds and Machines, McGovern Institute, MIT April 12, 2016 D2...

[Dl輪読会]bridging the gaps between residual learning, recurrent neural networks and visual cortexの#P1

Colorizing The Past 古い白黒画像を入力すると加えられた修正や輪郭に関わらず・・・

[DL輪読会]Let there be colorの#P25

Learning the Dynamics モデルベース強化学習の課題 image from CS285 Lecture 11 slide ● モデルフリーの手法に比べてパフォーマンス劣る ○ モデルベースは学習されたモデルを基にPlanningする ■ ダイナミクスモ...

[DL輪読会]Deep Dynamics Models for Learning Dexterous Manipulationの#P7

Learning the Dynamics 不確実性の考慮 image from CS285 Lecture 11 ● aleatoric or stochastic uncertainty slide ○ 環境自身の持つ不確実性 ○ データに対する不確実性 ■ データ自体にノイズがある ● epistemic o...

[DL輪読会]Deep Dynamics Models for Learning Dexterous Manipulationの#P8

Learning the Dynamics 不確実性の考慮 image from CS285 Lecture 11 slide ● 環境自身の持つ不確実性の対処 ○ -> 確率分布のパラメータをNNで出力し，サンプリングすることで対処 ● 十分に環境の遷移データが得ら...

[DL輪読会]Deep Dynamics Models for Learning Dexterous Manipulationの#P9

Learning the Dynamics ブートストラップアンサンブル image from CS285 Lecture 11 slide ● 複数のダイナミクスモデルを用いて遷移を予測し，一連の行動を行った際の報酬の平均から，対象となる行動系列の評価を...

[DL輪読会]Deep Dynamics Models for Learning Dexterous Manipulationの#P10