ゼロから始める転移学習

ゼロから始める転移学習 ヤフー株式会社 柴⽥ 知秀 tomshiba@yahoo-corp.jp ⾔語処理学会 第28回年次⼤会 チュートリアル 22/03/14 13:00-14:45

⾃⼰紹介 • 柴⽥ 知秀 (しばた ともひで) • 2007年〜 京都⼤学⿊橋研究室 助教・特定講師 • 2019年〜 Yahoo! JAPAN研究所 上席研究員 • 研究分野: 深層学習を⽤いた⽇本語基礎解析 • 趣味: 将棋・囲碁 (どちらも有段者) ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 2

謝辞 • チュートリアルの機会をいただきましたプログラム委員⻑ 河原 先⽣, プログラム委員の皆様, ⼤会委員の皆様(特に秘書の皆様) に感謝いたします。 • 本資料はこれまでのいくつかの講演での資料をベースにしてい ます。これまでの資料にコメントをいただきました京⼤⿊橋研 の皆様、ヤフー株式会社の皆様に感謝いたします。 ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 3

⾃然⾔語処理の急激な進展 • BERT(2018年)の登場以降、⽇々新しいモデルが提案されている • 状況を理解するのが⼤変 • 進歩が速い • 少し前の常識がくつがえされる • 初学者 (研究を始めたばかりの学⽣さん, 他分野から移られてきた ⽅々)でもわかるように背景から説明 • 中・上級者にも有益な情報を提供 • 誤解しやすい部分 • プログラムを動かしてはじめて分かること ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 4

今⽇の最後にわかってほしいこと • ⾃然⾔語処理における転移学習の気持ち • Transformer QK T softmax( p )V dk <latexit sha1_base64="SftefrAHw27vGk0XRSFd/sPtb7o=">AAACj3ichVFNSxtBGH5ca9VUm6gXoRdpiMQewrtFUDxIwIvSi9F8CCYNu+skXbJf7k6Cuuwf8OTNg6cWShHvvbbQS/9AD/kJ4tFCLz34ZrNQWtG+w8w888z7vPPMjO5ZZiCJ+iPK6JOxp+MTk6lnU9PP05mZ2Wrgdn1DVAzXcv09XQuEZTqiIk1piT3PF5qtW6KmdzYG+7We8APTdcry2BMNW2s7Zss0NMlUM/OqLsWR7Hph4LakrR1F+XrL14yw9OZtOQrrwaEvw4NmJ4qWqs1MlgoUx8J9oCYgiyS23cwn1HEAFwa6sCHgQDK2oCHgtg8VBI+5BkLmfEZmvC8QIcXaLmcJztCY7fDY5tV+wjq8HtQMYrXBp1jcfVYuIEc/6JJu6Ttd0TX9frBWGNcYeDnmWR9qhddMn87v/vqvyuZZ4t0f1aOeJVpYjb2a7N2LmcEtjKG+d3J+u7u2kwsX6QPdsP/31KdvfAOn99P4WBI7F0jxB6j/Pvd9UH1dUKmglpazxc3kKybwAi+R5/deQRGb2EaFzz3DZ3zBV2VGWVHWleIwVRlJNHP4K5StOyhgm3s=</latexit> • encoder-decoder, encoderのみ, decoderのみ • 最近の動向 ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 5

転移学習 (Transfer Learning) ソース ターゲット トレーニングデータ トレーニングデータ ソースで学習したモデルを ターゲットに適応させる モデル Pre-training (事前学習) 具体的には、ソースで学習 したモデルのパラメータを 初期値としてターゲットで 調整 モデル Fine-tuning ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 6

ImageNetを⽤いた転移学習 (2014年頃〜) 1,000クラス 120万画像にタグ付け “Transfer learning with pre-trained deep convolutional neural networks for serous cell classification” [Baykal+ 2020] ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 7

ImageNetを⽤いた転移学習 (2014年頃〜) ⾃然⾔語処理では これは何に相当する のだろう? 1,000クラス 120万画像にタグ付け “Transfer learning with pre-trained deep convolutional neural networks for serous cell classification” [Baykal+ 2020] ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 8

BERT [Devlin+ 2018]: ⽳埋め問題をひたすら解く Wikipedia ＰＣＭ ⾳源 （ ピー ##シー ##エム おん ##げん ） は 、 コンパクト ディスク など で 扱わ れる パルス 符号 変調 技 術 を ⽤いた デジタル ##シン セサイザー の ⾳源 ⽅式 の ひ と つ 。 あらかじめ メモリ に 記録 して おいた ＰＣＭ 波形 （ サンプル ） を 再⽣ … … ⾃動⾞ 競技 は 四 輪 の ⾃動 ⾞ あるいは それ に 準ずる ⾞ 両 に よる 競技 に 対して 主 に 呼称 さ れ 、 オートバイ や それ に 準ずる ⾞両 の 競 技 に 対して は オートバイ 競 技 や モーター サイクル レー ス など と 呼ば れる 。⾃動 ⾞ 競技 は操る ⼈ の … … … 9

BERT [Devlin+ 2018]: ⽳埋め問題をひたすら解く ⽳埋め問題を作るのは ⼈⼿がかからない! Wikipedia ＰＣＭ ⾳源 （ ピー ##シー ##エム おん ##げん ） は 、 コンパクト ディスク など で 扱わ れる パルス 符号 変調 技 術 を ⽤いた デジタル ##シン セサイザー の ⾳源 ⽅式 の ひ と つ 。 あらかじめ メモリ に 記録 して おいた ＰＣＭ 波形 （ サンプル ） を 再⽣ … … ⾃動⾞ 競技 は 四 輪 の ⾃動 ⾞ あるいは それ に 準ずる ⾞ 両 に よる 競技 に 対して 主 に 呼称 さ れ 、 オートバイ や それ に 準ずる ⾞両 の 競 技 に 対して は オートバイ 競 技 や モーター サイクル レー ス など と 呼ば れる 。⾃動 ⾞ 競技 は操る ⼈ の … … … 10

画像・⾳声・⾔語 トヨタ は プリウス を 発売 した … https://jaedukseo.me/ppt/powerdeep.pdf ⼊⼒ ブレークスルー http://www.mriaz.me/ 連続値 離散値 固定⻑ 可変⻑ AlexNet DNN-HMM (2012年) (2010年-) 課題: l 単語をベクトル (連続値)へ l 階層的な系列 (⽂字 → 単語 → ⽂ → ⽂章)の扱い Google翻訳 (2016年) ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 11

• https://jaedukseo.me/ppt/powerdeep.pdf
• http://www.mriaz.me/

画像・⾳声・⾔語 トヨタ は プリウス を 発売 した … https://jaedukseo.me/ppt/powerdeep.pdf ⼊⼒ ブレークスルー http://www.mriaz.me/ 連続値 離散値 固定⻑ AlexNet (2012年) 転移学習 (2014年-) 可変⻑ DNN-HMM (2010年-) ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 課題: l 単語をベクトル (連続値)へ l 階層的な系列 (⽂字 → 単語 → ⽂ → ⽂章)の扱い Google翻訳 BERT (2016年) (2018年) 12

• https://jaedukseo.me/ppt/powerdeep.pdf
• http://www.mriaz.me/

深層学習による⾃然⾔語処理 深層学習 古典的 機械学習 転移学習 単語 word2vec Glove ベクトル ⾔語 モデル 単⾔語 解析 ELMo GPT-2 LSTM RoBERTa GPT BERT ALBERT T5 FFN encoder- attention decoder 翻訳 2013 14 15 GPT-3 Transformer 16 17 18 ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 19 20 13 21

BERT [Devlin+ 2018] (Bidirectional Encoder Representations from Transformers) 1. Pre-training 2. Fine-tuning 転移学習 (学習データ: 数千万⽂〜) “⽳うめ問題” 放電 正例 を (学習データ: 数万⽂) タスク: 評判分析 negative BERT BERT [CLS] 電池 が [MASK] ⽂A で … [SEP] 機能 [MASK] 損なう ⽂B [CLS] ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) この 電池 は すぐ 14 切れる

https://gluebenchmark.com/leaderboard GLUE (⾔語理解タスク) [Wang+ 2018] ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 15

• https://gluebenchmark.com/leaderboard

https://gluebenchmark.com/leaderboard GLUE (⾔語理解タスク) [Wang+ 2018] T5 (2019年): 90.3 ⼈間のスコア: 87.1 BERT (2018年): 80.5 ベースライン: 70.0 ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 16

• https://gluebenchmark.com/leaderboard

本⽇の内容 1. 2. 3. 4. 5. 6. 導⼊ ⾔語モデル Transformer: encoder-decoder, attention, Transformer BERT BERTの出現以降の話題 ライブラリ ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 17

⾔語モデル (Language Model) • ⽂の⽣成確率を定義するもの 例: P( , , , ..., ) = P ( )P ( <latexit sha1_base64="xN9SPiXcco5lD7min8ERHCCS09s=">AAADQXicjVLLSuRAFD2JjjrtjLa6EWZhY6NMgzQ3IiiCILqZpY9pFXpEklitwXQSk3Rj2/oD/oALVzMgMvgV4sYfcOEnyGxEBRe6mJsyw6jxVUUlt07dc+rcqjI82wpCojNFbWj80NTc8jHV+ulzW3u6o3MucCu+KQqma7v+gqEHwrYcUQit0BYLni/0smGLeWNtMlqfrwo/sFzne1jzxGJZX3GskmXqIUNu2sEUvuIHyjDgYgP12hG2MYDMQ4zcJFYsVXpiNC97FOV4jPF4TjOXxKXu1nsy492Suc85zf3ztJTOUp5kyyQDLQ6yiNuUmz5gsWWWMlFhUQEHIcc2dATci9BA8BhbRJ0xnyNLrgveNsXcCmcJztAZXePvCs+KMerwPNIMJNvkXWwePjMz6KNT+k1XdEKHdE53L2rVpUbkpSaLllzhLbXvdM/evMkq8z/E6n/Wq55DlDAivVrs3ZNIVIV5z69u7l7Njs701fvpF/1h/z/pjI65Aqd6be5Pi5k9pPgCtKfHnQzmBvMa5bXpoez4SHwVLfiCXn4CGoYxjm/8HAowlQllVVlXfPVYPVcv1Mv7VFWJOV141NTbv0ObuI4=</latexit> • 利⽤⽅法 | )P ( | , )... • システムが⽣成した⽂がどれくらい正しそうか • 古典的⾳声認識 → ⾳響モデル X ⾔語モデル (⾳響との対⽐で「⾔語」) • 古典的機械翻訳 → 飜訳モデル X ⾔語モデル • ⽂⽣成: 確率にしたがって⽂を⽣成 • 確率の推定⽅法 • 最近はニューラルネットワークで (次ページ) 「⾔語をモデル化した」という意味で 最近のモデル(BERTなど)を⾔語モデルと呼ぶこ とも多い (最後にまた⾔及します) ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 18

RNN⾔語モデル [Mikolov+ 2010] (Recurrent Neural Networks) P (私, は, 学生, ..., ) = P (私) ⇥ P (は | 私) ⇥ P (学生 | 私, は) ⇥ <latexit sha1_base64="kUXWw13KDrQihNhIrlb4ilNYbEs=">AAACuXichVLLLgRBFD3ae7wGG4mFiQlBZHJbBCESiY2l1yAZIt2thqanu9PdMzEmfsAPWFiRiIg/sBMbP2BhZ4sliY2F26UTjwlupbpPnbrn1qmH7lqmHxDdVSiVVdU1tXX1sYbGpuaWeGvbku/kPUOkDcdyvBVd84Vl2iIdmIElVlxPaDndEsv6znQ4v1wQnm869mJQdMVaTtu0zaxpaAFTTnwAs+jDKnLQ4WAXpeIV9jGIxFeOnHIuk813RWxKthD1c59EYj2epBTJSJQDNQJJRDHrxM+49AYXNpDnJQRsBIwtaPC5ZaCC4DK3hhJzHiNTzgu2EGNtnrMEZ2jM7vB3k0eZiLV5HNb0pdrgVSzuHisT6KFbOqdnuqELeqC3X2uVZI3QS1EegdQKd73loGPh9V9Vjv8Btj5Vf3oOkMWY9Gqyd1cy4S6MD31h7/B5YXy+p9RLJ/TE/o/pjq55B3bhxTidE/NHiPEFqD+PuxwsDaXUkdTw3HByaiy6ijp0opsfhIpRTGGGH0ea173EPR7wqEwomrKlbH+kKhWRph3fQvHfAW70mvk=</latexit> <latexit sha1_base64="cRA00Umq0Svvooe70ANX8ndn9oE=">AAACeXichVHLSsNQED2N7/po1Y3gRi2V6qLcqKi4Ety4tNY+oJaSxNsamhdJWqzFH/AHXLhRQaT6FeLGH3DRTxCXFVzowmkaEC3qXG4y99w5Z2buyJamOi5jzYDQ09vXPzA4FBweGR0Lhccn0o5ZsRWeUkzNtLOy5HBNNXjKVV2NZy2bS7qs8Yxc3mrfZ6rcdlTT2HNrFs/rUslQi6oiuQSVsYMY9qFDhokj1Gv3OMFCIRxhcebZTLcj+k4Evu2Y4RsSOSAJBRUS4zDgkq9BgkMrBxEMFmF51AmzyVO9e07pgsStUBSnCInQMn1LdMr5qEHntqbjsRXKotG2iTmDKHtiDdZij+yOPbOPX7Xqnka7lprXrMflViF0OpV8+5el09/F4Rfrz5pdFLHu1apS7ZaHtLtQOvzq8VkrubEbrc+zK/ZC9V+yJnugDozqq3Kd4LvnCNIAxJ/P3e2kl+LianwlsRLZXPdHMYhpzNFIRaxhE9s03hTlPcYFGrgNvAuzQkxY7IQKAZ8ziW8mLH8CGJ6POw==</latexit> <latexit sha1_base64="VlOuk/jTJFCer8NihFhMJycVs6M=">AAACjXichVHLSsNQED3Gd320PhaCm2Kp6KZMxBciIrjQpVZrC1Ukibc1mCYhSYu1+gMu3LpwpSAibt0qiBt/wIWfIC4V3LhwGgO+UOdyk7nnzjkzc0e1Dd31iO5rpNq6+obGpuZQS2tbezjS0bnsWkVHEynNMiwnoyquMHRTpDzdM0TGdoRSUA2RVjdnqvfpknBc3TKXvLItVgtK3tRzuqZ4DFmRbsxjACsoQIWFLVTIwi52PiPla0YG1yIxSpBv0Z+OHDgxBDZvRU5ZZJ0lNBRZTMCEx74BBS6vLGQQbMZWUWHMYU/37wWnCzG3yFGCIxRGN/mb51M2QE0+VzVdn61xFoO3w8wo4nRHZ/REt3ROD/T6q1bF16jWUvab9bnCXgvv9Sy+/Msq8N/Dxgfrz5o95DDu16pz7baPVLvQ3vml7YOnxYlkvNJPx/TI9R/RPd1wB2bpWTtZEMlDhHgA8vfn/uksDyXk0cTwwnBsejwYRRN60cdDljGGaczxwFOcdx8XuMSVFJZGpElp6j1Uqgk4Xfhi0uwbyhmTPQ==</latexit> 私 <latexit sha1_base64="xliubG9wJ+kluJYl71YczYFrM7I=">AAACaXichVHLSgMxFD0dX7U+WnVTdFMcKq5KRkTFVcGNy/poLajIzBg1dl7MpAUt/oArd6KuFETEz3DjD7jwE8RlBTcuvDMdEBX1hiQnJ/fcnCSGZ4lAMvaUUDo6u7p7kr2pvv6BwXRmaLgSuHXf5GXTtVy/augBt4TDy1JIi1c9n+u2YfE1o7YQ7q81uB8I11mVBx7ftPVdR+wIU5dEVTaksHmwlVFZgUWR+wm0GKiIo+RmbrCBbbgwUYcNDgeSsAUdAbV1aGDwiNtEkzifkIj2OY6QIm2dsjhl6MTWaNyl1XrMOrQOawaR2qRTLOo+KXPIs0d2y1rsgd2xZ/b+a61mVCP0ckCz0dZybyt9nF15+1dl0yyx96n607PEDuYir4K8exET3sJs6xuHp62V+eV8c4JdsRfyf8me2D3dwGm8mtdLfPkCKfoA7ftz/wSVqYI2U5hemlaLc/FXJDGGcUzSe8+iiEWUUKZz93GCM5wnXpQhJauMtlOVRKwZwZdQ1A/DjYwv</latexit> は U U W 1層のRNN (LSTMが多い) BOS .. <latexit sha1_base64="65eGHwP+C67CzQEst+DUzKOyYP4=">AAACo3ichVLLSsNQED3Gd3206kZwYbFUFKRMRFRcCW4EN9qHCrVIEm9raJqEJC3W6g/4Ay5cKYqIXyFuxK268BPEpYIbF05jwBfqXG4y99w5Z2YyUW1Ddz2i+wapsam5pbWtPdTR2dUdjvT0LrtW2dFERrMMy1lVFVcYuikynu4ZYtV2hFJSDbGiFufq9ysV4bi6Zaa9qi1yJaVg6nldUzyGrMggFjGCNZSgwsIWatl8eRC72PmMVS8YGUP0M0YWY6PrkRglyLfoT0cOnBgCW7QipyyywRIayiwmYMJj34ACl1cWMgg2YznUGHPY0/17welCzC1zlOAIhdEiPwt8ygaoyee6puuzNc5i8HaYGUWc7uiMnuiKzumBXn/Vqvka9VqqfrM+V9jr4b3+1Mu/rBK/PWx+sP6s2UMe036tOtdu+0i9C+2dX9nef0rNJOO1YTqiR67/kO7pkjswK8/ayZJIHiDEA5C/f+6fzvJ4Qp5MTCxNxGang1G0YQBDPHoZU5jFPP8GGc57jGvc4FaKSwtSUkq/h0oNAacPX0zKvQFFjZi5</latexit> <latexit sha1_base64="xliubG9wJ+kluJYl71YczYFrM7I=">AAACaXichVHLSgMxFD0dX7U+WnVTdFMcKq5KRkTFVcGNy/poLajIzBg1dl7MpAUt/oArd6KuFETEz3DjD7jwE8RlBTcuvDMdEBX1hiQnJ/fcnCSGZ4lAMvaUUDo6u7p7kr2pvv6BwXRmaLgSuHXf5GXTtVy/augBt4TDy1JIi1c9n+u2YfE1o7YQ7q81uB8I11mVBx7ftPVdR+wIU5dEVTaksHmwlVFZgUWR+wm0GKiIo+RmbrCBbbgwUYcNDgeSsAUdAbV1aGDwiNtEkzifkIj2OY6QIm2dsjhl6MTWaNyl1XrMOrQOawaR2qRTLOo+KXPIs0d2y1rsgd2xZ/b+a61mVCP0ckCz0dZybyt9nF15+1dl0yyx96n607PEDuYir4K8exET3sJs6xuHp62V+eV8c4JdsRfyf8me2D3dwGm8mtdLfPkCKfoA7ftz/wSVqYI2U5hemlaLc/FXJDGGcUzSe8+iiEWUUKZz93GCM5wnXpQhJauMtlOVRKwZwZdQ1A/DjYwv</latexit> <latexit sha1_base64="xliubG9wJ+kluJYl71YczYFrM7I=">AAACaXichVHLSgMxFD0dX7U+WnVTdFMcKq5KRkTFVcGNy/poLajIzBg1dl7MpAUt/oArd6KuFETEz3DjD7jwE8RlBTcuvDMdEBX1hiQnJ/fcnCSGZ4lAMvaUUDo6u7p7kr2pvv6BwXRmaLgSuHXf5GXTtVy/augBt4TDy1JIi1c9n+u2YfE1o7YQ7q81uB8I11mVBx7ftPVdR+wIU5dEVTaksHmwlVFZgUWR+wm0GKiIo+RmbrCBbbgwUYcNDgeSsAUdAbV1aGDwiNtEkzifkIj2OY6QIm2dsjhl6MTWaNyl1XrMOrQOawaR2qRTLOo+KXPIs0d2y1rsgd2xZ/b+a61mVCP0ckCz0dZybyt9nF15+1dl0yyx96n607PEDuYir4K8exET3sJs6xuHp62V+eV8c4JdsRfyf8me2D3dwGm8mtdLfPkCKfoA7ftz/wSVqYI2U5hemlaLc/FXJDGGcUzSe8+iiEWUUKZz93GCM5wnXpQhJauMtlOVRKwZwZdQ1A/DjYwv</latexit> 学⽣ です U U W 私 <latexit sha1_base64="+YtBoUekWQwurKdqXcPgzBdb2V8=">AAACZXichVHLSgMxFD0d3/XR+kAEF4pFcTWkUlRcCW5c9mFtQUVmxlRD58VMWtDiD4hbdeFKQUT8DDf+gIt+gYhLBTcuvDMdEBX1hiQnJ/fcnCS6awpfMtaMKW3tHZ1d3T3x3r7+gURycGjdd2qewYuGYzpeWdd8bgqbF6WQJi+7Htcs3eQlvboS7Jfq3POFY6/JfZdvWdquLSrC0CRReVXdTqaYysKY/AnSEUghiqyTvMYmduDAQA0WOGxIwiY0+NQ2kAaDS9wWGsR5hES4z3GIOGlrlMUpQyO2SuMurTYi1qZ1UNMP1QadYlL3SDmJafbAbtgLu2e37Im9/1qrEdYIvOzTrLe03N1OHI0V3v5VWTRL7H2q/vQsUcFi6FWQdzdkglsYLX394OylsJSfbsywS/ZM/i9Yk93RDez6q3GV4/lzxOkD0t+f+ydYn1PT82oml0ktL0Zf0Y1xTGGW3nsBy1hFFkU6t4JjnOA09qj0KyPKaCtViUWaYXwJZeID48aJ5Q==</latexit> W W は 学⽣ ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 19

RNN⾔語モデル [Mikolov+ 2010] (Recurrent Neural Networks) P (私, は, 学生, ..., ) = P (私) ⇥ P (は | 私) ⇥ P (学生 | 私, は) ⇥ <latexit sha1_base64="kUXWw13KDrQihNhIrlb4ilNYbEs=">AAACuXichVLLLgRBFD3ae7wGG4mFiQlBZHJbBCESiY2l1yAZIt2thqanu9PdMzEmfsAPWFiRiIg/sBMbP2BhZ4sliY2F26UTjwlupbpPnbrn1qmH7lqmHxDdVSiVVdU1tXX1sYbGpuaWeGvbku/kPUOkDcdyvBVd84Vl2iIdmIElVlxPaDndEsv6znQ4v1wQnm869mJQdMVaTtu0zaxpaAFTTnwAs+jDKnLQ4WAXpeIV9jGIxFeOnHIuk813RWxKthD1c59EYj2epBTJSJQDNQJJRDHrxM+49AYXNpDnJQRsBIwtaPC5ZaCC4DK3hhJzHiNTzgu2EGNtnrMEZ2jM7vB3k0eZiLV5HNb0pdrgVSzuHisT6KFbOqdnuqELeqC3X2uVZI3QS1EegdQKd73loGPh9V9Vjv8Btj5Vf3oOkMWY9Gqyd1cy4S6MD31h7/B5YXy+p9RLJ/TE/o/pjq55B3bhxTidE/NHiPEFqD+PuxwsDaXUkdTw3HByaiy6ijp0opsfhIpRTGGGH0ea173EPR7wqEwomrKlbH+kKhWRph3fQvHfAW70mvk=</latexit> <latexit sha1_base64="cRA00Umq0Svvooe70ANX8ndn9oE=">AAACeXichVHLSsNQED2N7/po1Y3gRi2V6qLcqKi4Ety4tNY+oJaSxNsamhdJWqzFH/AHXLhRQaT6FeLGH3DRTxCXFVzowmkaEC3qXG4y99w5Z2buyJamOi5jzYDQ09vXPzA4FBweGR0Lhccn0o5ZsRWeUkzNtLOy5HBNNXjKVV2NZy2bS7qs8Yxc3mrfZ6rcdlTT2HNrFs/rUslQi6oiuQSVsYMY9qFDhokj1Gv3OMFCIRxhcebZTLcj+k4Evu2Y4RsSOSAJBRUS4zDgkq9BgkMrBxEMFmF51AmzyVO9e07pgsStUBSnCInQMn1LdMr5qEHntqbjsRXKotG2iTmDKHtiDdZij+yOPbOPX7Xqnka7lprXrMflViF0OpV8+5el09/F4Rfrz5pdFLHu1apS7ZaHtLtQOvzq8VkrubEbrc+zK/ZC9V+yJnugDozqq3Kd4LvnCNIAxJ/P3e2kl+LianwlsRLZXPdHMYhpzNFIRaxhE9s03hTlPcYFGrgNvAuzQkxY7IQKAZ8ziW8mLH8CGJ6POw==</latexit> <latexit sha1_base64="VlOuk/jTJFCer8NihFhMJycVs6M=">AAACjXichVHLSsNQED3Gd320PhaCm2Kp6KZMxBciIrjQpVZrC1Ukibc1mCYhSYu1+gMu3LpwpSAibt0qiBt/wIWfIC4V3LhwGgO+UOdyk7nnzjkzc0e1Dd31iO5rpNq6+obGpuZQS2tbezjS0bnsWkVHEynNMiwnoyquMHRTpDzdM0TGdoRSUA2RVjdnqvfpknBc3TKXvLItVgtK3tRzuqZ4DFmRbsxjACsoQIWFLVTIwi52PiPla0YG1yIxSpBv0Z+OHDgxBDZvRU5ZZJ0lNBRZTMCEx74BBS6vLGQQbMZWUWHMYU/37wWnCzG3yFGCIxRGN/mb51M2QE0+VzVdn61xFoO3w8wo4nRHZ/REt3ROD/T6q1bF16jWUvab9bnCXgvv9Sy+/Msq8N/Dxgfrz5o95DDu16pz7baPVLvQ3vml7YOnxYlkvNJPx/TI9R/RPd1wB2bpWTtZEMlDhHgA8vfn/uksDyXk0cTwwnBsejwYRRN60cdDljGGaczxwFOcdx8XuMSVFJZGpElp6j1Uqgk4Xfhi0uwbyhmTPQ==</latexit> 私 U W 1層のRNN (LSTMが多い) 「私」の ベクトル <latexit sha1_base64="xliubG9wJ+kluJYl71YczYFrM7I=">AAACaXichVHLSgMxFD0dX7U+WnVTdFMcKq5KRkTFVcGNy/poLajIzBg1dl7MpAUt/oArd6KuFETEz3DjD7jwE8RlBTcuvDMdEBX1hiQnJ/fcnCSGZ4lAMvaUUDo6u7p7kr2pvv6BwXRmaLgSuHXf5GXTtVy/augBt4TDy1JIi1c9n+u2YfE1o7YQ7q81uB8I11mVBx7ftPVdR+wIU5dEVTaksHmwlVFZgUWR+wm0GKiIo+RmbrCBbbgwUYcNDgeSsAUdAbV1aGDwiNtEkzifkIj2OY6QIm2dsjhl6MTWaNyl1XrMOrQOawaR2qRTLOo+KXPIs0d2y1rsgd2xZ/b+a61mVCP0ckCz0dZybyt9nF15+1dl0yyx96n607PEDuYir4K8exET3sJs6xuHp62V+eV8c4JdsRfyf8me2D3dwGm8mtdLfPkCKfoA7ftz/wSVqYI2U5hemlaLc/FXJDGGcUzSe8+iiEWUUKZz93GCM5wnXpQhJauMtlOVRKwZwZdQ1A/DjYwv</latexit> は U .. <latexit sha1_base64="65eGHwP+C67CzQEst+DUzKOyYP4=">AAACo3ichVLLSsNQED3Gd3206kZwYbFUFKRMRFRcCW4EN9qHCrVIEm9raJqEJC3W6g/4Ay5cKYqIXyFuxK268BPEpYIbF05jwBfqXG4y99w5Z2YyUW1Ddz2i+wapsam5pbWtPdTR2dUdjvT0LrtW2dFERrMMy1lVFVcYuikynu4ZYtV2hFJSDbGiFufq9ysV4bi6Zaa9qi1yJaVg6nldUzyGrMggFjGCNZSgwsIWatl8eRC72PmMVS8YGUP0M0YWY6PrkRglyLfoT0cOnBgCW7QipyyywRIayiwmYMJj34ACl1cWMgg2YznUGHPY0/17welCzC1zlOAIhdEiPwt8ygaoyee6puuzNc5i8HaYGUWc7uiMnuiKzumBXn/Vqvka9VqqfrM+V9jr4b3+1Mu/rBK/PWx+sP6s2UMe036tOtdu+0i9C+2dX9nef0rNJOO1YTqiR67/kO7pkjswK8/ayZJIHiDEA5C/f+6fzvJ4Qp5MTCxNxGang1G0YQBDPHoZU5jFPP8GGc57jGvc4FaKSwtSUkq/h0oNAacPX0zKvQFFjZi5</latexit> <latexit sha1_base64="xliubG9wJ+kluJYl71YczYFrM7I=">AAACaXichVHLSgMxFD0dX7U+WnVTdFMcKq5KRkTFVcGNy/poLajIzBg1dl7MpAUt/oArd6KuFETEz3DjD7jwE8RlBTcuvDMdEBX1hiQnJ/fcnCSGZ4lAMvaUUDo6u7p7kr2pvv6BwXRmaLgSuHXf5GXTtVy/augBt4TDy1JIi1c9n+u2YfE1o7YQ7q81uB8I11mVBx7ftPVdR+wIU5dEVTaksHmwlVFZgUWR+wm0GKiIo+RmbrCBbbgwUYcNDgeSsAUdAbV1aGDwiNtEkzifkIj2OY6QIm2dsjhl6MTWaNyl1XrMOrQOawaR2qRTLOo+KXPIs0d2y1rsgd2xZ/b+a61mVCP0ckCz0dZybyt9nF15+1dl0yyx96n607PEDuYir4K8exET3sJs6xuHp62V+eV8c4JdsRfyf8me2D3dwGm8mtdLfPkCKfoA7ftz/wSVqYI2U5hemlaLc/FXJDGGcUzSe8+iiEWUUKZz93GCM5wnXpQhJauMtlOVRKwZwZdQ1A/DjYwv</latexit> <latexit sha1_base64="xliubG9wJ+kluJYl71YczYFrM7I=">AAACaXichVHLSgMxFD0dX7U+WnVTdFMcKq5KRkTFVcGNy/poLajIzBg1dl7MpAUt/oArd6KuFETEz3DjD7jwE8RlBTcuvDMdEBX1hiQnJ/fcnCSGZ4lAMvaUUDo6u7p7kr2pvv6BwXRmaLgSuHXf5GXTtVy/augBt4TDy1JIi1c9n+u2YfE1o7YQ7q81uB8I11mVBx7ftPVdR+wIU5dEVTaksHmwlVFZgUWR+wm0GKiIo+RmbrCBbbgwUYcNDgeSsAUdAbV1aGDwiNtEkzifkIj2OY6QIm2dsjhl6MTWaNyl1XrMOrQOawaR2qRTLOo+KXPIs0d2y1rsgd2xZ/b+a61mVCP0ckCz0dZybyt9nF15+1dl0yyx96n607PEDuYir4K8exET3sJs6xuHp62V+eV8c4JdsRfyf8me2D3dwGm8mtdLfPkCKfoA7ftz/wSVqYI2U5hemlaLc/FXJDGGcUzSe8+iiEWUUKZz93GCM5wnXpQhJauMtlOVRKwZwZdQ1A/DjYwv</latexit> <latexit sha1_base64="+YtBoUekWQwurKdqXcPgzBdb2V8=">AAACZXichVHLSgMxFD0d3/XR+kAEF4pFcTWkUlRcCW5c9mFtQUVmxlRD58VMWtDiD4hbdeFKQUT8DDf+gIt+gYhLBTcuvDMdEBX1hiQnJ/fcnCS6awpfMtaMKW3tHZ1d3T3x3r7+gURycGjdd2qewYuGYzpeWdd8bgqbF6WQJi+7Htcs3eQlvboS7Jfq3POFY6/JfZdvWdquLSrC0CRReVXdTqaYysKY/AnSEUghiqyTvMYmduDAQA0WOGxIwiY0+NQ2kAaDS9wWGsR5hES4z3GIOGlrlMUpQyO2SuMurTYi1qZ1UNMP1QadYlL3SDmJafbAbtgLu2e37Im9/1qrEdYIvOzTrLe03N1OHI0V3v5VWTRL7H2q/vQsUcFi6FWQdzdkglsYLX394OylsJSfbsywS/ZM/i9Yk93RDez6q3GV4/lzxOkD0t+f+ydYn1PT82oml0ktL0Zf0Y1xTGGW3nsBy1hFFkU6t4JjnOA09qj0KyPKaCtViUWaYXwJZeID48aJ5Q==</latexit> 学⽣ です U U W W W … 0 0・・ 0 1 0 ・・ BOS 私 私 は 学⽣ ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 20

RNN⾔語モデル [Mikolov+ 2010] (Recurrent Neural Networks) P (私, は, 学生, ..., ) = P (私) ⇥ P (は | 私) ⇥ P (学生 | 私, は) ⇥ <latexit sha1_base64="kUXWw13KDrQihNhIrlb4ilNYbEs=">AAACuXichVLLLgRBFD3ae7wGG4mFiQlBZHJbBCESiY2l1yAZIt2thqanu9PdMzEmfsAPWFiRiIg/sBMbP2BhZ4sliY2F26UTjwlupbpPnbrn1qmH7lqmHxDdVSiVVdU1tXX1sYbGpuaWeGvbku/kPUOkDcdyvBVd84Vl2iIdmIElVlxPaDndEsv6znQ4v1wQnm869mJQdMVaTtu0zaxpaAFTTnwAs+jDKnLQ4WAXpeIV9jGIxFeOnHIuk813RWxKthD1c59EYj2epBTJSJQDNQJJRDHrxM+49AYXNpDnJQRsBIwtaPC5ZaCC4DK3hhJzHiNTzgu2EGNtnrMEZ2jM7vB3k0eZiLV5HNb0pdrgVSzuHisT6KFbOqdnuqELeqC3X2uVZI3QS1EegdQKd73loGPh9V9Vjv8Btj5Vf3oOkMWY9Gqyd1cy4S6MD31h7/B5YXy+p9RLJ/TE/o/pjq55B3bhxTidE/NHiPEFqD+PuxwsDaXUkdTw3HByaiy6ijp0opsfhIpRTGGGH0ea173EPR7wqEwomrKlbH+kKhWRph3fQvHfAW70mvk=</latexit> <latexit sha1_base64="cRA00Umq0Svvooe70ANX8ndn9oE=">AAACeXichVHLSsNQED2N7/po1Y3gRi2V6qLcqKi4Ety4tNY+oJaSxNsamhdJWqzFH/AHXLhRQaT6FeLGH3DRTxCXFVzowmkaEC3qXG4y99w5Z2buyJamOi5jzYDQ09vXPzA4FBweGR0Lhccn0o5ZsRWeUkzNtLOy5HBNNXjKVV2NZy2bS7qs8Yxc3mrfZ6rcdlTT2HNrFs/rUslQi6oiuQSVsYMY9qFDhokj1Gv3OMFCIRxhcebZTLcj+k4Evu2Y4RsSOSAJBRUS4zDgkq9BgkMrBxEMFmF51AmzyVO9e07pgsStUBSnCInQMn1LdMr5qEHntqbjsRXKotG2iTmDKHtiDdZij+yOPbOPX7Xqnka7lprXrMflViF0OpV8+5el09/F4Rfrz5pdFLHu1apS7ZaHtLtQOvzq8VkrubEbrc+zK/ZC9V+yJnugDozqq3Kd4LvnCNIAxJ/P3e2kl+LianwlsRLZXPdHMYhpzNFIRaxhE9s03hTlPcYFGrgNvAuzQkxY7IQKAZ8ziW8mLH8CGJ6POw==</latexit> <latexit sha1_base64="VlOuk/jTJFCer8NihFhMJycVs6M=">AAACjXichVHLSsNQED3Gd320PhaCm2Kp6KZMxBciIrjQpVZrC1Ukibc1mCYhSYu1+gMu3LpwpSAibt0qiBt/wIWfIC4V3LhwGgO+UOdyk7nnzjkzc0e1Dd31iO5rpNq6+obGpuZQS2tbezjS0bnsWkVHEynNMiwnoyquMHRTpDzdM0TGdoRSUA2RVjdnqvfpknBc3TKXvLItVgtK3tRzuqZ4DFmRbsxjACsoQIWFLVTIwi52PiPla0YG1yIxSpBv0Z+OHDgxBDZvRU5ZZJ0lNBRZTMCEx74BBS6vLGQQbMZWUWHMYU/37wWnCzG3yFGCIxRGN/mb51M2QE0+VzVdn61xFoO3w8wo4nRHZ/REt3ROD/T6q1bF16jWUvab9bnCXgvv9Sy+/Msq8N/Dxgfrz5o95DDu16pz7baPVLvQ3vml7YOnxYlkvNJPx/TI9R/RPd1wB2bpWTtZEMlDhHgA8vfn/uksDyXk0cTwwnBsejwYRRN60cdDljGGaczxwFOcdx8XuMSVFJZGpElp6j1Uqgk4Xfhi0uwbyhmTPQ==</latexit> 私 「私 は」の ベクトル U W 1層のRNN (LSTMが多い) 「私」の ベクトル <latexit sha1_base64="xliubG9wJ+kluJYl71YczYFrM7I=">AAACaXichVHLSgMxFD0dX7U+WnVTdFMcKq5KRkTFVcGNy/poLajIzBg1dl7MpAUt/oArd6KuFETEz3DjD7jwE8RlBTcuvDMdEBX1hiQnJ/fcnCSGZ4lAMvaUUDo6u7p7kr2pvv6BwXRmaLgSuHXf5GXTtVy/augBt4TDy1JIi1c9n+u2YfE1o7YQ7q81uB8I11mVBx7ftPVdR+wIU5dEVTaksHmwlVFZgUWR+wm0GKiIo+RmbrCBbbgwUYcNDgeSsAUdAbV1aGDwiNtEkzifkIj2OY6QIm2dsjhl6MTWaNyl1XrMOrQOawaR2qRTLOo+KXPIs0d2y1rsgd2xZ/b+a61mVCP0ckCz0dZybyt9nF15+1dl0yyx96n607PEDuYir4K8exET3sJs6xuHp62V+eV8c4JdsRfyf8me2D3dwGm8mtdLfPkCKfoA7ftz/wSVqYI2U5hemlaLc/FXJDGGcUzSe8+iiEWUUKZz93GCM5wnXpQhJauMtlOVRKwZwZdQ1A/DjYwv</latexit> は U .. <latexit sha1_base64="65eGHwP+C67CzQEst+DUzKOyYP4=">AAACo3ichVLLSsNQED3Gd3206kZwYbFUFKRMRFRcCW4EN9qHCrVIEm9raJqEJC3W6g/4Ay5cKYqIXyFuxK268BPEpYIbF05jwBfqXG4y99w5Z2YyUW1Ddz2i+wapsam5pbWtPdTR2dUdjvT0LrtW2dFERrMMy1lVFVcYuikynu4ZYtV2hFJSDbGiFufq9ysV4bi6Zaa9qi1yJaVg6nldUzyGrMggFjGCNZSgwsIWatl8eRC72PmMVS8YGUP0M0YWY6PrkRglyLfoT0cOnBgCW7QipyyywRIayiwmYMJj34ACl1cWMgg2YznUGHPY0/17welCzC1zlOAIhdEiPwt8ygaoyee6puuzNc5i8HaYGUWc7uiMnuiKzumBXn/Vqvka9VqqfrM+V9jr4b3+1Mu/rBK/PWx+sP6s2UMe036tOtdu+0i9C+2dX9nef0rNJOO1YTqiR67/kO7pkjswK8/ayZJIHiDEA5C/f+6fzvJ4Qp5MTCxNxGang1G0YQBDPHoZU5jFPP8GGc57jGvc4FaKSwtSUkq/h0oNAacPX0zKvQFFjZi5</latexit> <latexit sha1_base64="xliubG9wJ+kluJYl71YczYFrM7I=">AAACaXichVHLSgMxFD0dX7U+WnVTdFMcKq5KRkTFVcGNy/poLajIzBg1dl7MpAUt/oArd6KuFETEz3DjD7jwE8RlBTcuvDMdEBX1hiQnJ/fcnCSGZ4lAMvaUUDo6u7p7kr2pvv6BwXRmaLgSuHXf5GXTtVy/augBt4TDy1JIi1c9n+u2YfE1o7YQ7q81uB8I11mVBx7ftPVdR+wIU5dEVTaksHmwlVFZgUWR+wm0GKiIo+RmbrCBbbgwUYcNDgeSsAUdAbV1aGDwiNtEkzifkIj2OY6QIm2dsjhl6MTWaNyl1XrMOrQOawaR2qRTLOo+KXPIs0d2y1rsgd2xZ/b+a61mVCP0ckCz0dZybyt9nF15+1dl0yyx96n607PEDuYir4K8exET3sJs6xuHp62V+eV8c4JdsRfyf8me2D3dwGm8mtdLfPkCKfoA7ftz/wSVqYI2U5hemlaLc/FXJDGGcUzSe8+iiEWUUKZz93GCM5wnXpQhJauMtlOVRKwZwZdQ1A/DjYwv</latexit> <latexit sha1_base64="xliubG9wJ+kluJYl71YczYFrM7I=">AAACaXichVHLSgMxFD0dX7U+WnVTdFMcKq5KRkTFVcGNy/poLajIzBg1dl7MpAUt/oArd6KuFETEz3DjD7jwE8RlBTcuvDMdEBX1hiQnJ/fcnCSGZ4lAMvaUUDo6u7p7kr2pvv6BwXRmaLgSuHXf5GXTtVy/augBt4TDy1JIi1c9n+u2YfE1o7YQ7q81uB8I11mVBx7ftPVdR+wIU5dEVTaksHmwlVFZgUWR+wm0GKiIo+RmbrCBbbgwUYcNDgeSsAUdAbV1aGDwiNtEkzifkIj2OY6QIm2dsjhl6MTWaNyl1XrMOrQOawaR2qRTLOo+KXPIs0d2y1rsgd2xZ/b+a61mVCP0ckCz0dZybyt9nF15+1dl0yyx96n607PEDuYir4K8exET3sJs6xuHp62V+eV8c4JdsRfyf8me2D3dwGm8mtdLfPkCKfoA7ftz/wSVqYI2U5hemlaLc/FXJDGGcUzSe8+iiEWUUKZz93GCM5wnXpQhJauMtlOVRKwZwZdQ1A/DjYwv</latexit> <latexit sha1_base64="+YtBoUekWQwurKdqXcPgzBdb2V8=">AAACZXichVHLSgMxFD0d3/XR+kAEF4pFcTWkUlRcCW5c9mFtQUVmxlRD58VMWtDiD4hbdeFKQUT8DDf+gIt+gYhLBTcuvDMdEBX1hiQnJ/fcnCS6awpfMtaMKW3tHZ1d3T3x3r7+gURycGjdd2qewYuGYzpeWdd8bgqbF6WQJi+7Htcs3eQlvboS7Jfq3POFY6/JfZdvWdquLSrC0CRReVXdTqaYysKY/AnSEUghiqyTvMYmduDAQA0WOGxIwiY0+NQ2kAaDS9wWGsR5hES4z3GIOGlrlMUpQyO2SuMurTYi1qZ1UNMP1QadYlL3SDmJafbAbtgLu2e37Im9/1qrEdYIvOzTrLe03N1OHI0V3v5VWTRL7H2q/vQsUcFi6FWQdzdkglsYLX394OylsJSfbsywS/ZM/i9Yk93RDez6q3GV4/lzxOkD0t+f+ydYn1PT82oml0ktL0Zf0Y1xTGGW3nsBy1hFFkU6t4JjnOA09qj0KyPKaCtViUWaYXwJZeID48aJ5Q==</latexit> 学⽣ です U U W W W … 0 0・・ 0 1 0 ・・ BOS 私 私 は 学⽣ ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 21

RNN⾔語モデル [Mikolov+ 2010] (Recurrent Neural Networks) P (私, は, 学生, ..., ) = P (私) ⇥ P (は | 私) ⇥ P (学生 | 私, は) ⇥ <latexit sha1_base64="kUXWw13KDrQihNhIrlb4ilNYbEs=">AAACuXichVLLLgRBFD3ae7wGG4mFiQlBZHJbBCESiY2l1yAZIt2thqanu9PdMzEmfsAPWFiRiIg/sBMbP2BhZ4sliY2F26UTjwlupbpPnbrn1qmH7lqmHxDdVSiVVdU1tXX1sYbGpuaWeGvbku/kPUOkDcdyvBVd84Vl2iIdmIElVlxPaDndEsv6znQ4v1wQnm869mJQdMVaTtu0zaxpaAFTTnwAs+jDKnLQ4WAXpeIV9jGIxFeOnHIuk813RWxKthD1c59EYj2epBTJSJQDNQJJRDHrxM+49AYXNpDnJQRsBIwtaPC5ZaCC4DK3hhJzHiNTzgu2EGNtnrMEZ2jM7vB3k0eZiLV5HNb0pdrgVSzuHisT6KFbOqdnuqELeqC3X2uVZI3QS1EegdQKd73loGPh9V9Vjv8Btj5Vf3oOkMWY9Gqyd1cy4S6MD31h7/B5YXy+p9RLJ/TE/o/pjq55B3bhxTidE/NHiPEFqD+PuxwsDaXUkdTw3HByaiy6ijp0opsfhIpRTGGGH0ea173EPR7wqEwomrKlbH+kKhWRph3fQvHfAW70mvk=</latexit> <latexit sha1_base64="cRA00Umq0Svvooe70ANX8ndn9oE=">AAACeXichVHLSsNQED2N7/po1Y3gRi2V6qLcqKi4Ety4tNY+oJaSxNsamhdJWqzFH/AHXLhRQaT6FeLGH3DRTxCXFVzowmkaEC3qXG4y99w5Z2buyJamOi5jzYDQ09vXPzA4FBweGR0Lhccn0o5ZsRWeUkzNtLOy5HBNNXjKVV2NZy2bS7qs8Yxc3mrfZ6rcdlTT2HNrFs/rUslQi6oiuQSVsYMY9qFDhokj1Gv3OMFCIRxhcebZTLcj+k4Evu2Y4RsSOSAJBRUS4zDgkq9BgkMrBxEMFmF51AmzyVO9e07pgsStUBSnCInQMn1LdMr5qEHntqbjsRXKotG2iTmDKHtiDdZij+yOPbOPX7Xqnka7lprXrMflViF0OpV8+5el09/F4Rfrz5pdFLHu1apS7ZaHtLtQOvzq8VkrubEbrc+zK/ZC9V+yJnugDozqq3Kd4LvnCNIAxJ/P3e2kl+LianwlsRLZXPdHMYhpzNFIRaxhE9s03hTlPcYFGrgNvAuzQkxY7IQKAZ8ziW8mLH8CGJ6POw==</latexit> <latexit sha1_base64="VlOuk/jTJFCer8NihFhMJycVs6M=">AAACjXichVHLSsNQED3Gd320PhaCm2Kp6KZMxBciIrjQpVZrC1Ukibc1mCYhSYu1+gMu3LpwpSAibt0qiBt/wIWfIC4V3LhwGgO+UOdyk7nnzjkzc0e1Dd31iO5rpNq6+obGpuZQS2tbezjS0bnsWkVHEynNMiwnoyquMHRTpDzdM0TGdoRSUA2RVjdnqvfpknBc3TKXvLItVgtK3tRzuqZ4DFmRbsxjACsoQIWFLVTIwi52PiPla0YG1yIxSpBv0Z+OHDgxBDZvRU5ZZJ0lNBRZTMCEx74BBS6vLGQQbMZWUWHMYU/37wWnCzG3yFGCIxRGN/mb51M2QE0+VzVdn61xFoO3w8wo4nRHZ/REt3ROD/T6q1bF16jWUvab9bnCXgvv9Sy+/Msq8N/Dxgfrz5o95DDu16pz7baPVLvQ3vml7YOnxYlkvNJPx/TI9R/RPd1wB2bpWTtZEMlDhHgA8vfn/uksDyXk0cTwwnBsejwYRRN60cdDljGGaczxwFOcdx8XuMSVFJZGpElp6j1Uqgk4Xfhi0uwbyhmTPQ==</latexit> <latexit sha1_base64="xliubG9wJ+kluJYl71YczYFrM7I=">AAACaXichVHLSgMxFD0dX7U+WnVTdFMcKq5KRkTFVcGNy/poLajIzBg1dl7MpAUt/oArd6KuFETEz3DjD7jwE8RlBTcuvDMdEBX1hiQnJ/fcnCSGZ4lAMvaUUDo6u7p7kr2pvv6BwXRmaLgSuHXf5GXTtVy/augBt4TDy1JIi1c9n+u2YfE1o7YQ7q81uB8I11mVBx7ftPVdR+wIU5dEVTaksHmwlVFZgUWR+wm0GKiIo+RmbrCBbbgwUYcNDgeSsAUdAbV1aGDwiNtEkzifkIj2OY6QIm2dsjhl6MTWaNyl1XrMOrQOawaR2qRTLOo+KXPIs0d2y1rsgd2xZ/b+a61mVCP0ckCz0dZybyt9nF15+1dl0yyx96n607PEDuYir4K8exET3sJs6xuHp62V+eV8c4JdsRfyf8me2D3dwGm8mtdLfPkCKfoA7ftz/wSVqYI2U5hemlaLc/FXJDGGcUzSe8+iiEWUUKZz93GCM5wnXpQhJauMtlOVRKwZwZdQ1A/DjYwv</latexit> 私 <latexit sha1_base64="xliubG9wJ+kluJYl71YczYFrM7I=">AAACaXichVHLSgMxFD0dX7U+WnVTdFMcKq5KRkTFVcGNy/poLajIzBg1dl7MpAUt/oArd6KuFETEz3DjD7jwE8RlBTcuvDMdEBX1hiQnJ/fcnCSGZ4lAMvaUUDo6u7p7kr2pvv6BwXRmaLgSuHXf5GXTtVy/augBt4TDy1JIi1c9n+u2YfE1o7YQ7q81uB8I11mVBx7ftPVdR+wIU5dEVTaksHmwlVFZgUWR+wm0GKiIo+RmbrCBbbgwUYcNDgeSsAUdAbV1aGDwiNtEkzifkIj2OY6QIm2dsjhl6MTWaNyl1XrMOrQOawaR2qRTLOo+KXPIs0d2y1rsgd2xZ/b+a61mVCP0ckCz0dZybyt9nF15+1dl0yyx96n607PEDuYir4K8exET3sJs6xuHp62V+eV8c4JdsRfyf8me2D3dwGm8mtdLfPkCKfoA7ftz/wSVqYI2U5hemlaLc/FXJDGGcUzSe8+iiEWUUKZz93GCM5wnXpQhJauMtlOVRKwZwZdQ1A/DjYwv</latexit> は 「私 は」の ベクトル <latexit sha1_base64="xliubG9wJ+kluJYl71YczYFrM7I=">AAACaXichVHLSgMxFD0dX7U+WnVTdFMcKq5KRkTFVcGNy/poLajIzBg1dl7MpAUt/oArd6KuFETEz3DjD7jwE8RlBTcuvDMdEBX1hiQnJ/fcnCSGZ4lAMvaUUDo6u7p7kr2pvv6BwXRmaLgSuHXf5GXTtVy/augBt4TDy1JIi1c9n+u2YfE1o7YQ7q81uB8I11mVBx7ftPVdR+wIU5dEVTaksHmwlVFZgUWR+wm0GKiIo+RmbrCBbbgwUYcNDgeSsAUdAbV1aGDwiNtEkzifkIj2OY6QIm2dsjhl6MTWaNyl1XrMOrQOawaR2qRTLOo+KXPIs0d2y1rsgd2xZ/b+a61mVCP0ckCz0dZybyt9nF15+1dl0yyx96n607PEDuYir4K8exET3sJs6xuHp62V+eV8c4JdsRfyf8me2D3dwGm8mtdLfPkCKfoA7ftz/wSVqYI2U5hemlaLc/FXJDGGcUzSe8+iiEWUUKZz93GCM5wnXpQhJauMtlOVRKwZwZdQ1A/DjYwv</latexit> <latexit sha1_base64="+YtBoUekWQwurKdqXcPgzBdb2V8=">AAACZXichVHLSgMxFD0d3/XR+kAEF4pFcTWkUlRcCW5c9mFtQUVmxlRD58VMWtDiD4hbdeFKQUT8DDf+gIt+gYhLBTcuvDMdEBX1hiQnJ/fcnCS6awpfMtaMKW3tHZ1d3T3x3r7+gURycGjdd2qewYuGYzpeWdd8bgqbF6WQJi+7Htcs3eQlvboS7Jfq3POFY6/JfZdvWdquLSrC0CRReVXdTqaYysKY/AnSEUghiqyTvMYmduDAQA0WOGxIwiY0+NQ2kAaDS9wWGsR5hES4z3GIOGlrlMUpQyO2SuMurTYi1qZ1UNMP1QadYlL3SDmJafbAbtgLu2e37Im9/1qrEdYIvOzTrLe03N1OHI0V3v5VWTRL7H2q/vQsUcFi6FWQdzdkglsYLX394OylsJSfbsywS/ZM/i9Yk93RDez6q3GV4/lzxOkD0t+f+ydYn1PT82oml0ktL0Zf0Y1xTGGW3nsBy1hFFkU6t4JjnOA09qj0KyPKaCtViUWaYXwJZeID48aJ5Q==</latexit> 例えば3万次元 学⽣ です ⾜して1になるように 0.1 ・・ 0.2 U W 1層のRNN (LSTMが多い) 「私」の ベクトル W ・・ U U U ⼤規模なラベルなし テキストから学習 .. <latexit sha1_base64="65eGHwP+C67CzQEst+DUzKOyYP4=">AAACo3ichVLLSsNQED3Gd3206kZwYbFUFKRMRFRcCW4EN9qHCrVIEm9raJqEJC3W6g/4Ay5cKYqIXyFuxK268BPEpYIbF05jwBfqXG4y99w5Z2YyUW1Ddz2i+wapsam5pbWtPdTR2dUdjvT0LrtW2dFERrMMy1lVFVcYuikynu4ZYtV2hFJSDbGiFufq9ysV4bi6Zaa9qi1yJaVg6nldUzyGrMggFjGCNZSgwsIWatl8eRC72PmMVS8YGUP0M0YWY6PrkRglyLfoT0cOnBgCW7QipyyywRIayiwmYMJj34ACl1cWMgg2YznUGHPY0/17welCzC1zlOAIhdEiPwt8ygaoyee6puuzNc5i8HaYGUWc7uiMnuiKzumBXn/Vqvka9VqqfrM+V9jr4b3+1Mu/rBK/PWx+sP6s2UMe036tOtdu+0i9C+2dX9nef0rNJOO1YTqiR67/kO7pkjswK8/ayZJIHiDEA5C/f+6fzvJ4Qp5MTCxNxGang1G0YQBDPHoZU5jFPP8GGc57jGvc4FaKSwtSUkq/h0oNAacPX0zKvQFFjZi5</latexit> W W … 0 0・・ 0 1 0 ・・ BOS 私 私 は 学⽣ ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 22

RNN⾔語モデル [Mikolov+ 2010] (Recurrent Neural Networks) P (私, は, 学生, ..., ) = P (私) ⇥ P (は | 私) ⇥ P (学生 | 私, は) ⇥注意: 先は⾒ることができない <latexit sha1_base64="kUXWw13KDrQihNhIrlb4ilNYbEs=">AAACuXichVLLLgRBFD3ae7wGG4mFiQlBZHJbBCESiY2l1yAZIt2thqanu9PdMzEmfsAPWFiRiIg/sBMbP2BhZ4sliY2F26UTjwlupbpPnbrn1qmH7lqmHxDdVSiVVdU1tXX1sYbGpuaWeGvbku/kPUOkDcdyvBVd84Vl2iIdmIElVlxPaDndEsv6znQ4v1wQnm869mJQdMVaTtu0zaxpaAFTTnwAs+jDKnLQ4WAXpeIV9jGIxFeOnHIuk813RWxKthD1c59EYj2epBTJSJQDNQJJRDHrxM+49AYXNpDnJQRsBIwtaPC5ZaCC4DK3hhJzHiNTzgu2EGNtnrMEZ2jM7vB3k0eZiLV5HNb0pdrgVSzuHisT6KFbOqdnuqELeqC3X2uVZI3QS1EegdQKd73loGPh9V9Vjv8Btj5Vf3oOkMWY9Gqyd1cy4S6MD31h7/B5YXy+p9RLJ/TE/o/pjq55B3bhxTidE/NHiPEFqD+PuxwsDaXUkdTw3HByaiy6ijp0opsfhIpRTGGGH0ea173EPR7wqEwomrKlbH+kKhWRph3fQvHfAW70mvk=</latexit> <latexit sha1_base64="cRA00Umq0Svvooe70ANX8ndn9oE=">AAACeXichVHLSsNQED2N7/po1Y3gRi2V6qLcqKi4Ety4tNY+oJaSxNsamhdJWqzFH/AHXLhRQaT6FeLGH3DRTxCXFVzowmkaEC3qXG4y99w5Z2buyJamOi5jzYDQ09vXPzA4FBweGR0Lhccn0o5ZsRWeUkzNtLOy5HBNNXjKVV2NZy2bS7qs8Yxc3mrfZ6rcdlTT2HNrFs/rUslQi6oiuQSVsYMY9qFDhokj1Gv3OMFCIRxhcebZTLcj+k4Evu2Y4RsSOSAJBRUS4zDgkq9BgkMrBxEMFmF51AmzyVO9e07pgsStUBSnCInQMn1LdMr5qEHntqbjsRXKotG2iTmDKHtiDdZij+yOPbOPX7Xqnka7lprXrMflViF0OpV8+5el09/F4Rfrz5pdFLHu1apS7ZaHtLtQOvzq8VkrubEbrc+zK/ZC9V+yJnugDozqq3Kd4LvnCNIAxJ/P3e2kl+LianwlsRLZXPdHMYhpzNFIRaxhE9s03hTlPcYFGrgNvAuzQkxY7IQKAZ8ziW8mLH8CGJ6POw==</latexit> <latexit sha1_base64="VlOuk/jTJFCer8NihFhMJycVs6M=">AAACjXichVHLSsNQED3Gd320PhaCm2Kp6KZMxBciIrjQpVZrC1Ukibc1mCYhSYu1+gMu3LpwpSAibt0qiBt/wIWfIC4V3LhwGgO+UOdyk7nnzjkzc0e1Dd31iO5rpNq6+obGpuZQS2tbezjS0bnsWkVHEynNMiwnoyquMHRTpDzdM0TGdoRSUA2RVjdnqvfpknBc3TKXvLItVgtK3tRzuqZ4DFmRbsxjACsoQIWFLVTIwi52PiPla0YG1yIxSpBv0Z+OHDgxBDZvRU5ZZJ0lNBRZTMCEx74BBS6vLGQQbMZWUWHMYU/37wWnCzG3yFGCIxRGN/mb51M2QE0+VzVdn61xFoO3w8wo4nRHZ/REt3ROD/T6q1bF16jWUvab9bnCXgvv9Sy+/Msq8N/Dxgfrz5o95DDu16pz7baPVLvQ3vml7YOnxYlkvNJPx/TI9R/RPd1wB2bpWTtZEMlDhHgA8vfn/uksDyXk0cTwwnBsejwYRRN60cdDljGGaczxwFOcdx8XuMSVFJZGpElp6j1Uqgk4Xfhi0uwbyhmTPQ==</latexit> <latexit sha1_base64="65eGHwP+C67CzQEst+DUzKOyYP4=">AAACo3ichVLLSsNQED3Gd3206kZwYbFUFKRMRFRcCW4EN9qHCrVIEm9raJqEJC3W6g/4Ay5cKYqIXyFuxK268BPEpYIbF05jwBfqXG4y99w5Z2YyUW1Ddz2i+wapsam5pbWtPdTR2dUdjvT0LrtW2dFERrMMy1lVFVcYuikynu4ZYtV2hFJSDbGiFufq9ysV4bi6Zaa9qi1yJaVg6nldUzyGrMggFjGCNZSgwsIWatl8eRC72PmMVS8YGUP0M0YWY6PrkRglyLfoT0cOnBgCW7QipyyywRIayiwmYMJj34ACl1cWMgg2YznUGHPY0/17welCzC1zlOAIhdEiPwt8ygaoyee6puuzNc5i8HaYGUWc7uiMnuiKzumBXn/Vqvka9VqqfrM+V9jr4b3+1Mu/rBK/PWx+sP6s2UMe036tOtdu+0i9C+2dX9nef0rNJOO1YTqiR67/kO7pkjswK8/ayZJIHiDEA5C/f+6fzvJ4Qp5MTCxNxGang1G0YQBDPHoZU5jFPP8GGc57jGvc4FaKSwtSUkq/h0oNAacPX0zKvQFFjZi5</latexit> <latexit sha1_base64="xliubG9wJ+kluJYl71YczYFrM7I=">AAACaXichVHLSgMxFD0dX7U+WnVTdFMcKq5KRkTFVcGNy/poLajIzBg1dl7MpAUt/oArd6KuFETEz3DjD7jwE8RlBTcuvDMdEBX1hiQnJ/fcnCSGZ4lAMvaUUDo6u7p7kr2pvv6BwXRmaLgSuHXf5GXTtVy/augBt4TDy1JIi1c9n+u2YfE1o7YQ7q81uB8I11mVBx7ftPVdR+wIU5dEVTaksHmwlVFZgUWR+wm0GKiIo+RmbrCBbbgwUYcNDgeSsAUdAbV1aGDwiNtEkzifkIj2OY6QIm2dsjhl6MTWaNyl1XrMOrQOawaR2qRTLOo+KXPIs0d2y1rsgd2xZ/b+a61mVCP0ckCz0dZybyt9nF15+1dl0yyx96n607PEDuYir4K8exET3sJs6xuHp62V+eV8c4JdsRfyf8me2D3dwGm8mtdLfPkCKfoA7ftz/wSVqYI2U5hemlaLc/FXJDGGcUzSe8+iiEWUUKZz93GCM5wnXpQhJauMtlOVRKwZwZdQ1A/DjYwv</latexit> <latexit sha1_base64="xliubG9wJ+kluJYl71YczYFrM7I=">AAACaXichVHLSgMxFD0dX7U+WnVTdFMcKq5KRkTFVcGNy/poLajIzBg1dl7MpAUt/oArd6KuFETEz3DjD7jwE8RlBTcuvDMdEBX1hiQnJ/fcnCSGZ4lAMvaUUDo6u7p7kr2pvv6BwXRmaLgSuHXf5GXTtVy/augBt4TDy1JIi1c9n+u2YfE1o7YQ7q81uB8I11mVBx7ftPVdR+wIU5dEVTaksHmwlVFZgUWR+wm0GKiIo+RmbrCBbbgwUYcNDgeSsAUdAbV1aGDwiNtEkzifkIj2OY6QIm2dsjhl6MTWaNyl1XrMOrQOawaR2qRTLOo+KXPIs0d2y1rsgd2xZ/b+a61mVCP0ckCz0dZybyt9nF15+1dl0yyx96n607PEDuYir4K8exET3sJs6xuHp62V+eV8c4JdsRfyf8me2D3dwGm8mtdLfPkCKfoA7ftz/wSVqYI2U5hemlaLc/FXJDGGcUzSe8+iiEWUUKZz93GCM5wnXpQhJauMtlOVRKwZwZdQ1A/DjYwv</latexit> <latexit sha1_base64="xliubG9wJ+kluJYl71YczYFrM7I=">AAACaXichVHLSgMxFD0dX7U+WnVTdFMcKq5KRkTFVcGNy/poLajIzBg1dl7MpAUt/oArd6KuFETEz3DjD7jwE8RlBTcuvDMdEBX1hiQnJ/fcnCSGZ4lAMvaUUDo6u7p7kr2pvv6BwXRmaLgSuHXf5GXTtVy/augBt4TDy1JIi1c9n+u2YfE1o7YQ7q81uB8I11mVBx7ftPVdR+wIU5dEVTaksHmwlVFZgUWR+wm0GKiIo+RmbrCBbbgwUYcNDgeSsAUdAbV1aGDwiNtEkzifkIj2OY6QIm2dsjhl6MTWaNyl1XrMOrQOawaR2qRTLOo+KXPIs0d2y1rsgd2xZ/b+a61mVCP0ckCz0dZybyt9nF15+1dl0yyx96n607PEDuYir4K8exET3sJs6xuHp62V+eV8c4JdsRfyf8me2D3dwGm8mtdLfPkCKfoA7ftz/wSVqYI2U5hemlaLc/FXJDGGcUzSe8+iiEWUUKZz93GCM5wnXpQhJauMtlOVRKwZwZdQ1A/DjYwv</latexit> (⾒るとカンニングになってしまう) 私 は U U W 1層のRNN (LSTMが多い) BOS 「私 は」の ベクトル 学⽣ です U U W 私 W W は 学⽣ ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 23

本⽇の内容 1. 2. 3. 4. 5. 6. 導⼊ ⾔語モデル Transformer: encoder-decoder, attention, Transformer BERT BERTの出現以降の話題 ライブラリ ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 24

機械翻訳のモデル encoder-decoder (seq2seq) [Sutskever+ 2014] ⼀単語ずつ⽣成 (先を⾒ることができない) ⼊⼒⽂をすべて⾒ることができる encoder decoder I am a student EOS EOS I am a 25 student 2層の LSTM 私 は 学⽣ です ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉)

機械翻訳のモデル encoder-decoder (seq2seq) [Sutskever+ 2014] ⼀単語ずつ⽣成 (先を⾒ることができない) ⼊⼒⽂をすべて⾒ることができる encoder decoder I am a student EOS EOS I am a 26 student 2層の LSTM 私 は 学⽣ です ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉)

機械翻訳のモデル encoder-decoder (seq2seq) [Sutskever+ 2014] ⼀単語ずつ⽣成 (先を⾒ることができない) ⼊⼒⽂をすべて⾒ることができる encoder decoder I am a student EOS EOS I am a 27 student 2層の LSTM 私 は 学⽣ です ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉)

ビームサーチも よく使われる 学習時と推論時 学習時 I am … 0.02 … … 0.01… EOS I teacher-forcing 推論時 正解単語 a student … 0.03 … … 0.01 … am a We are … 0.01 … … 0.03 … EOS ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) We 確率最⼤単語 students . … 0.02 … … 0.02 … are students 28

encoder-decoder (seq2seq) [Sutskever+ 2014] 原⾔語⽂のベクトル表現 問題: 特に⻑い⽂の場合に情報 をすべて持つことができない 私 は 学⽣ です decoder I am a student EOS EOS I am a 29 student ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉)

Attention 機構 [Bahdanau+ 2014, Luong+ 2015] 私 は 学⽣ です I am a EOS I am ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) a 30

Attention 機構 [Bahdanau+ 2014, Luong+ 2015] 私 は 学⽣ です ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) a 31

Attention 機構 [Bahdanau+ 2014, Luong+ 2015] フィードフォワード ネットワークで計算 2.5 関連度 1.6 1.0 2.5 私 は 学⽣ 1.6 です ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) a 32

Attention 機構 [Bahdanau+ 2014, Luong+ 2015] フィードフォワード ネットワークで計算 ⾜して1になるように 正規化 (softmax) 2.5 0.2 0.1 0.5 0.2 1.6 1.0 2.5 1.6 私 は 学⽣ です ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) a 33

Attention 機構 [Bahdanau+ 2014, Luong+ 2015] contextベクトル attention スコア attentionスコアで 重み付けして ベクトルを⾜す フィードフォワード ネットワークで計算 2.5 0.2 0.1 0.5 0.2 1.6 1.0 2.5 1.6 私 は 学⽣ です ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) a 34

Attention 機構 [Bahdanau+ 2014, Luong+ 2015] → Google翻訳 (2016年) contextベクトル 0.2 0.1 0.5 私 は 学⽣ 0.2 です I am a EOS I am ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) student a 35

その他のEncoder-Decoder • 要約: ⼊⼒⽂書 → 要約⽂ • サッカーのイングランド・プレミアリーグで2⽇、レスター・シティが 初優勝を決めた。... → プレミアリーグでレスターが初優勝 • 対話: ユーザ発話 → システム発話 • ネットワークがつながらないのですが。 → 機種は何ですか? ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 36

Transformer [Vaswani+ 2017] • “Attention is All You Need”というタイトルで有名 • LSTMを使わずにattentionだけで翻訳 • 2つの拡張 1. Query, Key, Value 2. Self-attention 1 5 .0 key query value 2 ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 37

I Transformerの全体像 am a student decoder #6 FFN encoder-decoder attention encoder #6 FFN self-attention encoder … decoder #1 self-attention … decoder FFN encoder #1 私 FFN encoder-decoder attention self-attention self-attention は 学⽣ です EOS I ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) am a 38

I Transformerの全体像 am a student decoder #6 FFN encoder-decoder attention encoder #6 FFN self-attention decoder #1 … FFN FFN encoder-decoder attention self-attention self-attention encoder #1 私 self-attention … は 学⽣ です EOS I ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) am a 39

1. Query, Key, Value Key - Valueデータベースへのアクセスを考える Query Key ⼈参 ナス バナナ ⼈参 Value 80円 50円 30円 80円 ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 40

1. Query, Key, Value Key - Valueデータベースへのアクセスを考える 0.4 Query 0.5 Key ⼈参 ナス バナナ Value 80円 50円 30円 x0.4 0.1 x0.1 ⼈参 野菜 80円 60円 x0.5 ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 41

1. Query, Key, Value 私 は 学⽣ です ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) a 42

1. Query, Key, Value query 名前をつけただけ 私 は 学⽣ です ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) a 43

1. Query, Key, Value フィードフォワード ネットワークで計算 2.5 関連度 key 1.6 1.0 2.5 1.6 key key key key value value value value 私 は 学⽣ です query 2つのベクトルに わけることにより 表現⼒を上げる ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) query 名前をつけただけ a 44

1. Query, Key, Value フィードフォワード ネットワークで計算 ⾜して1になるように 正規化 (softmax) 0.2 0.1 0.5 2.5 0.2 key 1.6 1.0 2.5 1.6 key key key key value value value value 私 は 学⽣ です query 2つのベクトルに わけることにより 表現⼒を上げる ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) query 名前をつけただけ a 45

1. Query, Key, Value contextベクトル フィードフォワード ネットワークで計算 attentionスコアで 重み付けして ベクトルを⾜す 0.2 0.1 2.5 0.5 0.2 key 1.6 1.0 2.5 1.6 key key key key value value value value 私 は 学⽣ です query 2つのベクトルに わけることにより 表現⼒を上げる ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) query 名前をつけただけ a 46

2. Self-Attention 通常のattention 0.2 0.1 0.5 Self-attention 0.2 0.2 0.1 0.5 0.2 私 は 学⽣ です … 私 は 学⽣ です a ⼆⾔語間で ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 単⾔語内で 47

Q, K, V + Self-attention query key value 64 64 64 768 私 は 学⽣ です 48

Q, K, V + Self-attention p <latexit sha1_base64="kKacpGhHtVl88JRgBgcBf8petPQ=">AAACbXichVHLSsNAFD2N7/qqiiAoUiw+VuVGBMVVwY3LVq0WH5QkjjU0TWIyLWjpD7gWXIiCgoj4GW78ARd+grhwoeDGhbdpQFTUO8zMmTP33Dkzo7uW6Uuih4jS1NzS2tbeEe3s6u7pjfX1r/pO2TNE1nAsx8vpmi8s0xZZaUpL5FxPaCXdEmt6caG+v1YRnm869orcd8VWSSvY5o5paJKp9U1/z5PV7Xyxlo8lKElBxH8CNQQJhJF2YlfYxDYcGCijBAEbkrEFDT63DagguMxtocqcx8gM9gVqiLK2zFmCMzRmizwWeLURsjav6zX9QG3wKRZ3j5VxjNM9XdML3dENPdL7r7WqQY26l32e9YZWuPnew6Hlt39VJZ4ldj9Vf3qW2MFc4NVk727A1G9hNPSVg+OX5fml8eoEXdAT+z+nB7rlG9iVV+MyI5ZOEOUPUL8/90+wOp1UKalmZhKpufAr2jGMMUzxe88ihUWkkeVzbRzhFGeRZ2VQGVFGG6lKJNQM4Esokx//lY4c</latexit> dk で正規化 qとkの内積 1.6 13 1.0 8 2.5 20 1.6 13 は 学⽣ です = 関連度 query key value 64 64 64 768 私 49

⽂脈を考慮した 「学⽣」のベクトル Q, K, V + Self-attention softmax p dk で正規化 qとkの内積 <latexit sha1_base64="kKacpGhHtVl88JRgBgcBf8petPQ=">AAACbXichVHLSsNAFD2N7/qqiiAoUiw+VuVGBMVVwY3LVq0WH5QkjjU0TWIyLWjpD7gWXIiCgoj4GW78ARd+grhwoeDGhbdpQFTUO8zMmTP33Dkzo7uW6Uuih4jS1NzS2tbeEe3s6u7pjfX1r/pO2TNE1nAsx8vpmi8s0xZZaUpL5FxPaCXdEmt6caG+v1YRnm869orcd8VWSSvY5o5paJKp9U1/z5PV7Xyxlo8lKElBxH8CNQQJhJF2YlfYxDYcGCijBAEbkrEFDT63DagguMxtocqcx8gM9gVqiLK2zFmCMzRmizwWeLURsjav6zX9QG3wKRZ3j5VxjNM9XdML3dENPdL7r7WqQY26l32e9YZWuPnew6Hlt39VJZ4ldj9Vf3qW2MFc4NVk727A1G9hNPSVg+OX5fml8eoEXdAT+z+nB7rlG9iVV+MyI5ZOEOUPUL8/90+wOp1UKalmZhKpufAr2jGMMUzxe88ihUWkkeVzbRzhFGeRZ2VQGVFGG6lKJNQM4Esokx//lY4c</latexit> × 0.2 ×0.1 ×0.5 ×0.2 1.6 13 1.0 8 2.5 20 1.6 13 は 学⽣ です = 関連度 query key value 64 64 64 768 私 50

⽂脈を考慮した 「学⽣」のベクトル Q, K, V + Self-attention softmax p dk で正規化 qとkの内積 <latexit sha1_base64="kKacpGhHtVl88JRgBgcBf8petPQ=">AAACbXichVHLSsNAFD2N7/qqiiAoUiw+VuVGBMVVwY3LVq0WH5QkjjU0TWIyLWjpD7gWXIiCgoj4GW78ARd+grhwoeDGhbdpQFTUO8zMmTP33Dkzo7uW6Uuih4jS1NzS2tbeEe3s6u7pjfX1r/pO2TNE1nAsx8vpmi8s0xZZaUpL5FxPaCXdEmt6caG+v1YRnm869orcd8VWSSvY5o5paJKp9U1/z5PV7Xyxlo8lKElBxH8CNQQJhJF2YlfYxDYcGCijBAEbkrEFDT63DagguMxtocqcx8gM9gVqiLK2zFmCMzRmizwWeLURsjav6zX9QG3wKRZ3j5VxjNM9XdML3dENPdL7r7WqQY26l32e9YZWuPnew6Hlt39VJZ4ldj9Vf3qW2MFc4NVk727A1G9hNPSVg+OX5fml8eoEXdAT+z+nB7rlG9iVV+MyI5ZOEOUPUL8/90+wOp1UKalmZhKpufAr2jGMMUzxe88ihUWkkeVzbRzhFGeRZ2VQGVFGG6lKJNQM4Esokx//lY4c</latexit> 「私」「は」「です」についても 同じことをする × 0.2 ×0.1 ×0.5 ×0.2 1.6 13 1.0 8 2.5 20 1.6 13 は 学⽣ です 1. 並列計算可能 2. 遠くまで⾒る ことができる = 関連度 query key value 64 64 64 768 私 51

⾏列で記述 T QK softmax( p )V dk ？ <latexit sha1_base64="SftefrAHw27vGk0XRSFd/sPtb7o=">AAACj3ichVFNSxtBGH5ca9VUm6gXoRdpiMQewrtFUDxIwIvSi9F8CCYNu+skXbJf7k6Cuuwf8OTNg6cWShHvvbbQS/9AD/kJ4tFCLz34ZrNQWtG+w8w888z7vPPMjO5ZZiCJ+iPK6JOxp+MTk6lnU9PP05mZ2Wrgdn1DVAzXcv09XQuEZTqiIk1piT3PF5qtW6KmdzYG+7We8APTdcry2BMNW2s7Zss0NMlUM/OqLsWR7Hph4LakrR1F+XrL14yw9OZtOQrrwaEvw4NmJ4qWqs1MlgoUx8J9oCYgiyS23cwn1HEAFwa6sCHgQDK2oCHgtg8VBI+5BkLmfEZmvC8QIcXaLmcJztCY7fDY5tV+wjq8HtQMYrXBp1jcfVYuIEc/6JJu6Ttd0TX9frBWGNcYeDnmWR9qhddMn87v/vqvyuZZ4t0f1aOeJVpYjb2a7N2LmcEtjKG+d3J+u7u2kwsX6QPdsP/31KdvfAOn99P4WBI7F0jxB6j/Pvd9UH1dUKmglpazxc3kKybwAi+R5/deQRGb2EaFzz3DZ3zBV2VGWVHWleIwVRlJNHP4K5StOyhgm3s=</latexit> ⾔語処理学会 第28回年次⼤会 チュートリアル資料 (2022年3⽉) 52

私 は 学⽣ です QK T softmax( p )V dk KT <latexit sha1_base64="SftefrAHw27vGk0XRSFd/sPtb7o=">AAACj3ichVFNSxtBGH5ca9VUm6gXoRdpiMQewrtFUDxIwIvSi9F8CCYNu+skXbJf7k6Cuuwf8OTNg6cWShHvvbbQS/9AD/kJ4tFCLz34ZrNQWtG+w8w888z7vPPMjO5ZZiCJ+iPK6JOxp+MTk6lnU9PP05mZ2Wrgdn1DVAzXcv09XQuEZTqiIk1piT3PF5qtW6KmdzYG+7We8APTdcry2BMNW2s7Zss0NMlUM/OqLsWR7Hph4LakrR1F+XrL14yw9OZtOQrrwaEvw4NmJ4qWqs1MlgoUx8J9oCYgiyS23cwn1HEAFwa6sCHgQDK2oCHgtg8VBI+5BkLmfEZmvC8QIcXaLmcJztCY7fDY5tV+wjq8HtQMYrXBp1jcfVYuIEc/6JJu6Ttd0TX9frBWGNcYeDnmWR9qhddMn87v/vqvyuZZ4t0f1aOeJVpYjb2a7N2LmcEtjKG+d3J+u7u2kwsX6QPdsP/31KdvfAOn99P4WBI7F0jxB6j/Pvd9UH1dUKmglpazxc3kKybwAi+R5/deQRGb2EaFzz3DZ3zBV2VGWVHWleIwVRlJNHP4K5StOyhgm3s=</latexit> Q私 ( softmax は 学⽣ です x p 私 は 学⽣ です <latexit sha1_base64="OrstIRGffw1Um2laVMCLMnw9QUU=">AAACbXichVHLSsNAFD2N7/qqiiAoIhYfq3IjgiIuCm5cVmtVfFCSOGpomsRkWqilP+BacCEKCiLiZ7jxB1z0E8SFCwU3LrxNA6Ki3mFmzpy5586ZGd21TF8SVSNKQ2NTc0trW7S9o7OrO9bTu+o7Bc8QGcOxHG9d13xhmbbISFNaYt31hJbXLbGm5xZq+2tF4fmmY6/Ikiu289qebe6ahiaZ2tjyDzxZ3snmKtlYnBIUxMhPoIYgjjBSTuwaW9iBAwMF5CFgQzK2oMHntgkVBJe5bZSZ8xiZwb5ABVHWFjhLcIbGbI7HPV5thqzN61pNP1AbfIrF3WPlCMbogW7ohe7plh7p/dda5aBGzUuJZ72uFW62+2gg/favKs+zxP6n6k/PEruYDbya7N0NmNotjLq+eHjykp5bHiuP0yU9sf8LqtId38AuvhpXS2L5FFH+APX7c/8Eq1MJlRLq0nQ8OR9+RSsGMYpJfu8ZJLGIFDJ8ro1jnOE88qz0K0PKcD1ViYSaPnwJZeIDANiOIA==</latexit> 私 0.2 0.1 0.6 0.1 は 0.1 0.7 0.1 0.1 学⽣ 0.2 0.1 0.5 0.2 です 0.1 0.1 0.1 0.7 dk V私 . は 学⽣ です ) 53