[DL輪読会]Ab-Initio Solution of the Many-Electron Schr?dinger Equation with Deep Neural Networks

1 DEEP LEARNING JP [DL Papers] “Ab-Initio Solution of the Many-Electron Schrödinger Equation with Deep Neural Networks” Kensuke Wakasugi, Panasonic Corporation. http://deeplearning.jp/

• http://deeplearning.jp/

書誌情報 2 タイトル： Ab-Initio Solution of the Many-Electron Schrödinger Equation with Deep Neural Networks 著者： David Pfau, James S. Spencer, and Alexander G. de G. Matthews（DeepMind） その他： 19/09/05にarXivに投稿． 選書理由： 計算科学の分野におけるDNNを使った研究分野で，今後期待できそうな論文なため． ※特に断りがない限り，図・表・式は上記論文より引用したものです． Wakasugi, Panasonic Corp.

背景 3 Many-Electron Schrödinger Equationの求解は計算困難 ➢ ➢ R_I r_i r_j R_J ψ：波動関数 H：ハミルトニアン E：エネルギー r：電子座標（負電荷） R：原子核座標（正電荷） Z：電荷 Schrödinger Equationとは，物質中の原子核，電子に要請される関係性を 表す方程式 原子核と電子の配置から電気的・力学的・化学的特性が計算可能なため， 材料開発に有効 ➢ ➢ しかし，一般にこの方程式を解くことは困難 窒素（N₂）の場合，電子14個に関する微分方程式となり 14個の電子分布を表すパラメータについて数値求解が必要 ➢ そこで，実行可能な計算量になるように，近似を行うが， 近似の程度と計算精度がトレードオフ 物理法則からの要請を満たし，効率的に計算可能な 波動関数ψの表現方法が求められる ハミルトニアンの第１項は，運動エネルギーに対応． 第２～４項は，原子核・電子の全組み合わせについての 静電ポテンシャルエネルギーに対応（多体問題となっている） Wakasugi, Panasonic Corp.

関連研究 4 計算したエネルギーを教師データとして学習 ➢ ➢ ポテンシャルを入力画像とし，一電子エネルギーを予測 波動関数ψを直接扱っていない 引用：Mills, K., Spanner, M., & Tamblyn, I. (2017). Deep learning and the Schrödinger equation. Physical Review A, 96(4), 042113. Wakasugi, Panasonic Corp.

計算科学の従来法 5 反対称性を満たす波動関数としてスレーター行列式を利用 x1 反対称性 ψ(x1, x2) = -ψ(x2,x1) x2 電子座標を交換すると，波動関数の符号が反転する φ1(x) φ2 (x) φ3 (x) φ4 (x) スレーター行列式による波動関数 ψ(x1, x2) = φ1(x1)φ2(x2) – φ2(x1)φ1(x2) = det[Φk] ただし, k={1,2} 重み付き線形和に拡張（Coupled Cluster法） イメージ図 電子が2個の系 ψ(x1, x2) = Σk ωkdet[Φk] 電子軌道φの様々な組み合わせについて考慮 Wakasugi, Panasonic Corp.

提案手法 6 物理法則からの要請を組み込んだNNを構築 ① ③ ① 電子 → 電子のベクトル（とノルム），電子 → 原子核 のベクトル（とノルム）を入力に取る ⇒ハミルトニアンの構成要素を反映 ② 電子-電子の特徴量を，電子-原子核の特徴量にconcat ⇒２電子の特徴量を1電子の特徴量に付加し， 層を重ねることで，多体問題を扱う ② ③ １電子波動関数から行列式を構成し， Coupled Cluster法に倣った波動関数を出力 ※Coupled Cluster法は，現在，計算科学分野で最も高精度な手法． ただし，計算コストは高い Wakasugi, Panasonic Corp.

提案手法 7 物理法則からの要請を組み込んだNNを構築 ④ ④ 原子核から無限遠方で0になる．減衰には異方性を含む 前層の出力（と重みとバイアス） 物理的な制約を直接NNに組み込んでいる 学習パラメータ Wakasugi, Panasonic Corp.

波動関数の最適化 8 エネルギーの期待値を最小化する波動関数パラメータを求める ➢ ➢ 量子力学に特有の期待値計算の式だが，基本的には統計学と同様． ψが確率分布，Hが期待値の計算対象になっている n個の電子座標Xに関する期待値となっており，計算困難なポイント 近似計算は、従来の計算科学の手法を踏襲 𝜓 𝐗 ෡ 𝐻𝜓 𝐗 𝜓 𝐗 ∫ 𝑑𝐗𝜓 ∗ 𝐗 𝜓 𝐗 ∫ 𝑑𝐗𝜓 ∗ 𝐗 = ෡ 𝐗 ∫ 𝑑𝐗 𝜓 𝐗 2 𝜓 −1 𝐗 𝐻𝜓 = ∫ 𝑑𝐗 𝜓 𝐗 2 ∫ 𝑑𝐗 𝜓 𝐗 2 𝐸𝐿 (𝐗) = ∫ 𝑑𝐗 𝜓 𝐗 2 = 𝑬𝑝 𝑿 𝐸𝐿 𝐗 ෡ 𝐗 ∵ 𝐸𝐿 (𝐗) = 𝜓 −1 𝐗 𝐻𝜓 ∵𝑝 𝑿 = 𝜓 𝐗 2 Wakasugi, Panasonic Corp.

波動関数の最適化 9 サンプリング，自然勾配法，クロネッカー積により，微分を近似計算 微分を計算するために， サンプリングによる積分計算と， Fisher情報行列を使った自然勾配法， クロネッカー積による情報行列の近似計算, を行う． Wakasugi, Panasonic Corp.

Pre-training 10 計算効率および収束安定化のため，HF法に基づき事前学習 Hartree-Fock(HF)法 ψ(X) = det[Φ] スレーター行列式1つを使い，基底状態の電子について考慮． 電子相関は考慮しない ➢ ➢ NNによる波動関数と，HF法による波動関数の誤差を目的関数とする ただし，期待値計算のサンプリングには両者を混合した分布を採用 Wakasugi, Panasonic Corp.

計算対象 NH3 11 C2H4 ➢ ➢ CH4 論文中に座標表記されているものを可視化． この他にも，単原子やCOなども計算している． C4H6 可視化にはVESTAを使用． K. Momma and F. Izumi, "VESTA 3 for three-dimensional visualization of crystal, volumetric and morphology data," J. Appl. Crystallogr., 44, 1272-1276 (2011). Wakasugi, Panasonic Corp.

比較手法 12 エネルギーの値に関して，CCSD法を基準に比較 手法 説明 Hartree-Fock 1つのスレーター行列式を 使う基本的な解法 事前学習に利用 Fermi Net 物理制約を組み込んだNN 提案手法 Slater-Jastrow Net Slater-Jastrowの補正項の係数を NNで出力 比較手法 VMC/DMC with Slater-Jastrow HF法に電子相関補正項を 追加したもの 比較手法 CCSD(T)： 複数のスレーター行列式を使う解法 比較手法 複数のスレーター行列式を使う解法 正解値扱い coupled cluster FCI： full configuration interaction ※最も正確な計算モデルは 計算対象によって異なる Wakasugi, Panasonic Corp.

結果 13 Slater-Jastrow（Net）と比較し高精度を達成 ➢ ➢ a：行列式を1つに限定して，従来法と比較 b：行列式の個数と性能の推移 Wakasugi, Panasonic Corp.

結果 14 実験値との比較において，CCSD法を上回る精度を達成 ➢ ➢ Exact(一番正確な計算)に近いものを太字で表示 Fermi Netが全体としては最も誤差が少ない Wakasugi, Panasonic Corp.

結果 15 低分子についてもCCSD法と同等の性能を達成 Wakasugi, Panasonic Corp.

結果 16 CCSD法では計算を誤る系においても，正確な計算が可能 Wakasugi, Panasonic Corp.

この論文の良い点 17 従来法では，計算対象の系に応じてモデルを選択する必要があったが， Fermi Netは同じNNを用いて，それぞれの系の最適な既存モデルに匹敵す る性能を達成した 汎用的な計算科学のモデルとして期待される Wakasugi, Panasonic Corp.

まとめ 18 • 波動関数の表現方法として，物理法則の制約を組み込んだFermi Netを提案 • 計算対象の系ごとの既存最適モデルに匹敵する精度を達成した Wakasugi, Panasonic Corp.

雑感 19 • NNの構造レベルで，物理法則の制約を満たすような作り方が面白い • 従来の波動関数に関する知見を直接組み込んでおり， 物理・化学の研究者にも受け入れやすいのではないか． （従来法の段階で，任意設計できる箇所があり，そこをNN重みで学習させている） • 計算コストに関してはCCSD法などと同等と述べており，計算効率化につい ては今後に期待される． Wakasugi, Panasonic Corp.