---
title: 【生成Deap Learning 第2版】9.1~9.2
tags:  #transformer  
author: [京都大学人工知能研究会KaiRA](https://www.docswell.com/user/kyoto-kaira)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/Y76259G5EV.jpg?width=480
description: 【生成Deap Learning 第2版】9.1~9.2 by 京都大学人工知能研究会KaiRA
published: June 05, 25
canonical: https://www.docswell.com/s/kyoto-kaira/59V3VY-2025-06-05-210052
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/Y76259G5EV.jpg)

生成Deep Learning輪読会(9.1~9.2)
京都大学 工学部 情報学科 数理工学コース B3
稲葉 陽孔
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/G752YNVG74.jpg)

アジェンダ
■ GPTとは？
■ Transformerのモデル構造
■ 実装
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/9J24G53D7R.jpg)

GPTとは？
概要
テキスト生成のためのモデル・膨大なデータセットを並列で学習できる
学習フロー
1.文の次の単語を予測するタスクを用いて、事前学習を行う（言語モデリング）
2.特定のタスクのために少量のデータを元にFine tuneする
使われているモデル
Transformer
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/DEYMVK1MEM.jpg)

Transformerのモデル構造
全体像(Transformer)
1.Inputされた単語をベクトル化
2.1にPositional Encodingを足す
3.2を元に、Transformer Block
などによって次の単語を予測
Multi-Head Attention
Transformer Block
(ここではGPT Block)
Transformer
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/VJNWMR23J8.jpg)

Transformerのモデル構造
アテンションヘッド
役割：今までの文から重要な箇所のみを抽出し、次の単語を予測しやすくする
実行例
タスク：「私は犬に」に続く単語を予測
手順
アテンションヘッド
※コンテキストベクトル：次の単語の予測に用いるベクトル
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/YE9XNM1P73.jpg)

Transformerのモデル構造
アテンションヘッド（全体像）
アテンションヘッド
に
×Wq
Q
私
スケーリング
＋softmax
×Wv
V
は
は
K
犬
犬
に
私
に
×Wk
単語(ベクトル)
コンテキストベクトル
単語(ベクトル)
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/GE82KL4XED.jpg)

Transformerのモデル構造
マルチヘッドアテンション
複数のアテンションヘッドによって得られた
コンテキストベクトルを連結して出力する層
1.Q,K,Vを各アテンションヘッド層毎に変換(Linear)
2.1で得たQ,K,Vからアテンションヘッド層によって、
コンテキストベクトルを取得
3.2で得られたベクトルをconcatし、重みつき行列でかける
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/LEL2ZL6N7R.jpg)

Transformerのモデル構造
因果マスキング
クエリ
アテンション層は入力のすべての単語を一度に処理
できるため、各単語から次に来る単語を
予測できることが理想的
→GPTがQベクトルのグループを
並列に扱いたい
→因果マスキングによってタスク毎に
未来の単語を予測に使わないようにする
私
は
犬
に
キー
私
は
犬
に
マスキング部分
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/4JM8VM5QJW.jpg)

Transformerのモデル構造
トランスフォーマーブロック
トランスフォーマー中の１つのブロック
・Layer Norm（層正規化）
・Fully-Connected(全結合層)
・スキップ接続
がある
複数組み合わせることで、トランスフォーマを作成
Transformer Block
Transformer
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/PJR52V3KE9.jpg)

Transformerのモデル構造
トランスフォーマーブロック
層正規化とバッチ正規化の違い
層正規化：１データの１単語の特徴量を正規化
バッチ正規化：バッチ内の特徴量１つを正規化
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/PEXKDZ45JX.jpg)

Transformerのモデル構造
位置エンコーディング
今までの課題点
キーとクエリの積を並列的に計算した際、
以下の場合においてコンテキストベクトルが同じになる
・私は犬に..(えさを与えた?)
・犬は私に..(ほえた?）
→位置エンコーディングによって
「どの場所に」単語があるかの情報を付与
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/3EK5X8ZRJD.jpg)

Transformerのモデル構造
位置エンコーディング
PEの可視化図
式
i:トークン埋め込み後のベクトルにおける各次元のインデックス値
pos:トークンの位置
d_model:トークン埋め込み後のベクトル次元数
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/L73K52DG75.jpg)

実装
こちらにございます
(学習に15分ほどかかります)
13