---
title: [DL輪読会]“Highly accurate protein structure prediction with AlphaFold”
tags:  #deep learning  
author: [Deep Learning JP](https://www.docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/47Q8L9VREP.jpg?width=480
description: 2021/09/10 Deep Learning JP: http://deeplearning.jp/seminar-2/
published: September 10, 21
canonical: https://www.docswell.com/s/DeepLearning2023/598LRX-dlhighly-accurate-protein-structure-prediction-with-alphafold
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/47Q8L9VREP.jpg)

1
DEEP LEARNING JP “Highly accurate protein structure prediction with AlphaFold”
[DL Papers]
Kensuke Wakasugi, Panasonic Corporation.
http://deeplearning.jp/


# Page. 2

![Page Image](https://bcdn.docswell.com/page/KE42DXMQ71.jpg)

書誌情報
2
紹介論文
タイトル：Highly accurate protein structure prediction with AlphaFold
著者：Jumper, J., Evans, R., Pritzel, A., Green, T., Figurnov, M., Ronneberger, O., ...
& Hassabis, D. 合計33人．
所属：DeepMind、ソウル大学校
その他： Nature掲載(2021/07/15公開），引用82件(2021/09/06時点)
https://www.nature.com/articles/s41586-021-03819-2
選書理由
AlphaFoldの原型は昨年時点で公開されていたが，その進化版としてAlphaFold2が話題に
なっていたため
※本資料の図表は，特に記載がない限り紹介論文より引用したものです
Wakasugi, Panasonic Corp.


# Page. 3

![Page Image](https://bcdn.docswell.com/page/L71MZN8LJG.jpg)

概要
3
タンパク質に特化した作りこみを行い、CASP14圧勝
CASP14のランキング
正解(緑)と予測（青）
※点線は便宜的に追加
データの前処理
メインのNN
構造の出力
Wakasugi, Panasonic Corp.


# Page. 4

![Page Image](https://bcdn.docswell.com/page/G7W394ZQ72.jpg)

CASPとは
4
■CASP：The Critical Assessment of protein Structure Prediction[1]
→タンパク質構造予測のコンペティション．1994年から2年おきに開催．CASP14は2020年開催．
タンパク質のフォールディング[2]
入力
出力
ヒトの場合、
20種のアミノ
酸の配列が入力
CASPカテゴリ[1]
メイン
[1]CASP:https://predictioncenter.org/index.cgi 訪問日2021/09/06
[2]フォールディング 出典: フリー百科事典『ウィキペディア（Wikipedia）』訪問日2021/09/06
カテゴリ
内容
テンプレートベース
既知構造を用いて，構造予測
テンプレートフリー
いちから構造予測
接触予測
部分構造の接触を予測
構造生物学への応用
未知構造への応用
精密化
後処理による構造の精緻化？
実験とのハイブリッド
低解像度の実験計測との組み合わせ
Wakasugi, Panasonic Corp.


# Page. 5

![Page Image](https://bcdn.docswell.com/page/4JZV921373.jpg)

CASP14＠2020
5
AlphaFold2が実験精度に到達
実験精度
全体の2/3
➢ CASP14にてAlphaFold2が大幅に精度向上
➢ 約90％のタンパク質の構造を正確に予測
高精度
全体の90%
[1]より引用
[1]CASP HP:https://predictioncenter.org/index.cgi 訪問日2021/09/06
Wakasugi, Panasonic Corp.


# Page. 6

![Page Image](https://bcdn.docswell.com/page/YE65KVLZJV.jpg)

学習データ
6
構造特定されているタンパク質で学習．データのサンプル、アミノ酸残基のクロップなどを前処理多数
■データベース・検索ツール：
• タンパク質立体構造データベース：Protein Data Bank（PDB）、 UniRef90 ．
PDBのHP上では181969件 https://www.rcsb.org/ （21/09/08）
• タンパク質配列データベース：Uniclust30、 MGnify、BFD（2.5 billion protein）
• 類似たんぱく質検索ツール：JackHMMER、 HHBlits
■学習（補助）データ：
PDB
seqs
seqs
seq→
seqs
クラスタリング
Template
UniRef90
・・・
Multiple sequence alignment
（MSA）
256
124
256
seq→
・・・
4
類似度順
学習データとしてはPDBがそのまま使われるが、 MSA、Templateも訓練時に利用される
Wakasugi, Panasonic Corp.


# Page. 7

![Page Image](https://bcdn.docswell.com/page/GE5YPD19E4.jpg)

学習データ
主に，sequence数 × residue数 × [アミノ酸onehot or 正解構造座標]
その他として，該当アミノ酸残基より
左にある欠失の数等が含まれる
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/972G68157R.jpg)

Self-distillation
8
自己蒸留を使い、2段階で学習。2段階目では3/4が自己蒸留データ
Uniclust30
立体構造
・・・
立体構造なし
seq
PDBで学習し
構造予測
予測の自信が
高いものを学習
データとする
Wakasugi, Panasonic Corp.


# Page. 9

![Page Image](https://bcdn.docswell.com/page/DJYV96Z6JM.jpg)

入力データ概観
9
MSA repr. とpair repr.に集約させる
➢ MSA repr. とpair repr.に集約
➢ Main Evoformerは上記二つを入出力
に持つ→Cycle計算する
➢ extra_MSAはCluteringで外れたも
の？とりわけ長い配列などへの対応
Wakasugi, Panasonic Corp.


# Page. 10

![Page Image](https://bcdn.docswell.com/page/V7NMLZY1E8.jpg)

Evoformer
10
MSA repr.に対するrow/column-wiseの更新と，pair repr.に対する接続関係に基づく更新から構成
•
•
•
•
•
基本的にresidualに接続
MSA repr.は
row/column-wiseに更新
pair repr.はグラフベース
で更新
更新はtransformer方式
＋gatingを利用
48block（no shared）
で一単位とし，Recycling
iterations（shared）を
回す．
Wakasugi, Panasonic Corp.


# Page. 11

![Page Image](https://bcdn.docswell.com/page/YJ9N4ZPYJ3.jpg)

Evoformer
row-wise
11
MSA repr. の更新
•
row-wiseの更新は途中でpair repr.を加算
column-wise
Wakasugi, Panasonic Corp.


# Page. 12

![Page Image](https://bcdn.docswell.com/page/GJ8KQ1DKED.jpg)

Evoformer
12
MSA repr.のtransitionとpair repr.への伝達
transition
pair repr.への伝達
Wakasugi, Panasonic Corp.


# Page. 13

![Page Image](https://bcdn.docswell.com/page/LJLZXQMP7R.jpg)

Evoformer
13
pair repr.の更新
三角形に基づく更新
グラフの始点に基づく更新
Wakasugi, Panasonic Corp.


# Page. 14

![Page Image](https://bcdn.docswell.com/page/47MVL1Y27W.jpg)

Evoformer
14
再掲
Wakasugi, Panasonic Corp.


# Page. 15

![Page Image](https://bcdn.docswell.com/page/P7R2KL95J9.jpg)

Structure module
15
MSAから、アミノ酸残基とその枝の位置座標を推定
•
•
•
•
Single repr.はMSAの一行目．
Backborn frameの初期値は原点.
位置座標は原点からの回転と移動で表現
sharedでRecycling iterationsを回す
•
Frame aligned point
error (FAPE).
Wakasugi, Panasonic Corp.


# Page. 16

![Page Image](https://bcdn.docswell.com/page/PJXDLWQXEX.jpg)

Invariant Point Attention
16
グローバルな剛体変位に対し、不変な更新方法を設計
•
•
アミノ酸残基の位置座標として，回転＋移動で表
現したが，この時，物理的にはタンパク質全体の
並進などに対し，不変であってほしい．
更新の際も上記不変性を満たすように設計
Wakasugi, Panasonic Corp.


# Page. 17

![Page Image](https://bcdn.docswell.com/page/3JKXLV99ED.jpg)

概要
再掲
17
タンパク質に特化した作りこみを行い、CASP14圧勝
CASP14のランキング
正解(緑)と予測（青）
※点線は便宜的に追加
データの前処理
メインのNN
構造の出力
Wakasugi, Panasonic Corp.


# Page. 18

![Page Image](https://bcdn.docswell.com/page/LE353MW9J5.jpg)

Loss functions
18
位置座標の誤差の他、maskのLossなども利用．fine-tuning時のみ、不正接続を考慮
•
•
•
•
•
•
•
FAPE:アミノ酸残基＋側鎖の誤差
aux：Structure moduleの途中の構造の誤差など
dist：アミノ酸残基間の距離に関する誤差
msa：MSAのマスクした部分に対する予測誤差
conf：予測の自信に関する誤差．（残基個別の誤算由来？）
exp resolved：実験的に同定されているかの予測
viol：アミノ残基内の原子間距離、角度、接触に対するペナルティ
Wakasugi, Panasonic Corp.


# Page. 19

![Page Image](https://bcdn.docswell.com/page/8EDD46K8EG.jpg)

学習パラメータ
19
合計学習時間11日
※一つの学習データに対し，templateは固定、MSAはresample．推論時にMSAはアンサンブルする
Wakasugi, Panasonic Corp.


# Page. 20

![Page Image](https://bcdn.docswell.com/page/V7PXMYKWE8.jpg)

学習パラメータ
20
CASP14向けの学習．蒸留データ生成を除き約2週間
Wakasugi, Panasonic Corp.


# Page. 21

![Page Image](https://bcdn.docswell.com/page/2JVL9GV97Q.jpg)

その他
21
全体を通して、細々と工夫がなされている
• 学習データの90%と側鎖に関して，誤差を10Åでクリップ
• 学習時，活性化関数の出力値を記憶せず，誤差逆伝搬時に再計算することで，メモリーを圧縮．
20.25 GiB → 0.4GiB + 1.7GiB．学習時間は33%増．
• 推論時，アミノ酸残基数2180個だと，154.4GiB必要．
mini-batch likeなchunkを考慮し0.3 GiBに．
Wakasugi, Panasonic Corp.


# Page. 22

![Page Image](https://bcdn.docswell.com/page/5EGXZ8L4JL.jpg)

概要
再掲
22
タンパク質に特化した作りこみを行い、CASP14圧勝
CASP14のランキング
正解(緑)と予測（青）
※点線は便宜的に追加
データの前処理
メインのNN
構造の出力
Wakasugi, Panasonic Corp.


# Page. 23

![Page Image](https://bcdn.docswell.com/page/4JQ8L9YR7P.jpg)

Ablation results・Cycleの効果
23
self-distillationの効果が少し大きいか
■性能値：
GDT（Global Distance Test）
正解値に対し予測値が，
所定のカットオフ半径位以内に収まっている割合
←recycle中の挙動．
recycleの進行とともに，正解に近づいている．
Wakasugi, Panasonic Corp.


# Page. 24

![Page Image](https://bcdn.docswell.com/page/K742DXWQJ1.jpg)

残課題
24
一部のたんぱく質の予測に難あり
•
•
•
MSA depthが30以下の場合，性能低下．100くらいで収束．
その他，鎖内結合が少ない場合に弱いとのこと
templateによるカバー範囲？が少ないと性能低下
Wakasugi, Panasonic Corp.


# Page. 25

![Page Image](https://bcdn.docswell.com/page/LJ1MZNYLEG.jpg)

Discussion
25
暗黙的な物理制約を自然に獲得できている
•
•
•
バイオインフォと物理的観点から手法を構築することで，最小限のマニュアル特徴量でも、うまく構造の性質をつかむことができた
→水素の結合長などは，陽に含んでいないが，うまく予測できている
欠落した物理的背景もうまく推論できており，intertwined homomers（アミノ酸配列が同一単位の繰り返しで構成され、全体が絡み
合ったもの？）もうまく予測できている（下図）
たんぱく質の必須解析ツールになることを期待．※github公開．有志によるブラウザ経由のツールもある
同じグループから，解析よりの論文もすでに発表されている
Highly accurate protein structure prediction for the human proteome
https://www.nature.com/articles/s41586-021-03828-1
Wakasugi, Panasonic Corp.


# Page. 26

![Page Image](https://bcdn.docswell.com/page/GJW394GQJ2.jpg)

感想
26
• Transformerなどを利用しつつ，細部にわたって工夫を凝らしている印象．
Lossの組合せ、各種crop、データの前処理・選定、Recycle
• ゲノム解析 → タンパク質構造同定 → 機能分析 の流れが加速することが期待される
余談：
web記事[3]によると，AlphaFold2のファイル容量は2.2TBらしい
RoseTTAFoldという手法もワシントン大学から発表されているとのこと
[3]https://www.itmedia.co.jp/news/articles/2107/20/news136.html 訪問日2021/09/09
Wakasugi, Panasonic Corp.