[DL輪読会]Inverse Design of Solid-State Materials via a Continuous Representation

1 DEEP LEARNING JP [DL Papers] “Inverse Design of Solid-State Materials via a Continuous Representation” Kensuke Wakasugi, Panasonic Corporation. http://deeplearning.jp/

• http://deeplearning.jp/

書誌情報 2 タイトル： Inverse Design of Solid-State Materials via a Continuous Representation [1] （Cellに属するMatterというジャーナル、昨年できたらしい） 著者： Juhwan Noh 1, Jaehoon Kim 2, Helge S. Stein 3, Benjamin Sanchez-Lengeling 4, John M. Gregoire 3, Alan Aspuru-Guzik 567, Yousung Jung 128, 選書理由： 計算科学の分野における構造生成に興味があったため． ※特に断りがない限り，図・表・式は上記論文より引用したものです． 1 2 3 4 5 6 7 Department of Chemical and Biomolecular Engineering,KoreaAdvancedInstituteofScience and Technology (KAIST), 291 Daehakro, Daejeon 34141, Korea Graduate School of EEWS, Korea Advanced Institute of Science and Technology (KAIST), 291 Daehakro, Daejeon 34141, Korea Joint Center for Artificial Photosynthesis, California Institute of Technology, Pasadena, CA 91125, USA DepartmentofChemistry and ChemicalBiology, Harvard University, 12 Oxford Street, Cambridge, MA 02138, USA Department of Chemistry and Department of Computer Science, University of Toronto, Toronto, ON M5S 3H6, Canada Vector Institute for Artificial Intelligence, Toronto, ON M5S 1M1, Canada Canadian Institute for Advanced Research (CIFAR) Senior Fellow, Toronto, ON M5S 1M1, Canada [1] Noh, J., Kim, J., Stein, H. S., Sanchez-Lengeling, B., Gregoire, J. M., Aspuru-Guzik, A., & Jung, Y. (2019). Inverse Design of SolidState Materials via a Continuous Representation. Matter, 1(5), 1370-1384. Wakasugi, Panasonic Corp.

背景 3 無機材料の未知の構造を発見したい ➢ 新たな材料を研究開発するにあたり、 これまでになかった構造を持つ材料を考えたい ➢ 従来は、材料研究者の経験や勘から、一つ一つ設計 ➢ 生成モデルを使い、新規の構造を持つ材料を探す Wakasugi, Panasonic Corp.

関連研究 4 材料開発において構造生成は重要だが、関連研究は乏しい印象 • データ科学系 – 構造からエネルギーを予測する予測器を学習 → 既知構造に元素置換 → 安定な元素割当てを抽出 といった研究はある．デメリットはDBにない構造を対象にできないこと ※ Crystal Structure Prediction via Deep Learning(2018) • – 構造そのものを生成するモデルも提案されつつあるが、多くはない． – 有機系であれば，1次元で表現される+データが比較的多い、という理由から、生成モデルの適用が進んでいる様子 計算科学系 – • ※Generative adversarial networks (GAN) based efficient sampling of chemical space for inverse design of inorganic materials(2019) CALYPSOやUSPEXと呼ばれるアプリケーションが知られている． 遺伝的アルゴリズムとDFT（密度汎関数法）が組み合わせて用いられる． →大規模系だと計算コストが高い 材料科学系 – – 研究者が手で設計 設計用のソフトウェアが論文にもなっている ※3DStructGen: an interactive web-based 3D structure generation for non-periodic molecule and crystal(2020) 深層学習の生成モデルを構築する上での課題は、可逆性 Wakasugi, Panasonic Corp.

研究概要 5 離散表現される構造を可逆変換で連続空間に写像し、新規構造を生成可能に ➢ 材料系特有のネットワーク構造はあるものの、 基本的にはVAEを使った構造生成 連続空間のサンプリングから、 グラフ表現される構造を生成する方法がポイント Wakasugi, Panasonic Corp.

事前知識 6 結晶構造は、三次元空間の周期の単位ベクトルの単位構造中の原子配置で指定 ➢ 構造を一意に表現するには、単位ベクトル３つと原子座標 を指定する必要がある ➢ 単位ベクトルは単位構造の各辺に対応 単位構造 Wakasugi, Panasonic Corp.

提案手法 7 単位ベクトルと原子配置に分けて考え、各々を画像で表現 ➢ 二枚の画像を指定すれば、一つの構造に対応 ➢ 可逆変換が可能 Wakasugi, Panasonic Corp.

提案手法 8 立方体を基準に、単位構造のひずみを3次元の分散としてとらえる ➢ 単位構造をvoxelに分割した際、 特定のi,j,kの座標が余弦定理から 算出できる →可逆変換 Wakasugi, Panasonic Corp.

提案手法 9 構造を再構成するAEと、AEの潜在変数を元にしたVAEの２Stepで構成 ➢ 安定構造をサンプルしたいので、 Conditional を追加している Wakasugi, Panasonic Corp.

提案手法 10 予測時は 潜在空間でサンプル → VAE Decoder → AE Decoder Wakasugi, Panasonic Corp.

性能評価 11 AEの再構成の性能は十分 ➢ Voxelサイズの制限を考慮すれば、 十分に再構成できている →imageへの変換と圧縮がうまくできている Wakasugi, Panasonic Corp.

性能評価 12 Stableからのサンプルができている．既知構造31件中26件を再発見 ➢ Stableからのサンプルができている ➢ 既知構造31件を除いてモデルを構築 →既知構造31件中25件が生成モデルから サンプルできた Wakasugi, Panasonic Corp.

新規構造生成 13 既知構造31件を加えて学習し、新規構造を探索 ➢ 既知構造の補間サンプルとランダムサンプ ルを採用 Wakasugi, Panasonic Corp.

性能評価 14 学習データに含まれない、かつ、安定な構造を多数生成 ➢ 安定性はDFT計算を実施して検証 Wakasugi, Panasonic Corp.

新規構造生成 15 多様な構造を生成可能 ➢ 長い周期性で欠損を含む構造も生成されたと のこと Wakasugi, Panasonic Corp.

ネットワーク構造 16 特殊な構造ではないが、AE（Cell,Basis）,VAEごとに異なるサイズを使用 ※AEはL2-Loss ➢ 少なからず、最適なサイズの調整が行われたと 予想される Wakasugi, Panasonic Corp.

潜在空間での構造の多様性 17 潜在空間での構造の分布を可視化 ➢ 安定性による分布の傾向に合わせて， 場所ごとに多様性が異なる Wakasugi, Panasonic Corp.

まとめ 18 無機結晶の構造を連続空間で表現し，VAEによる新規構造生成を可能にした ➢ 無機結晶の構造を単位ベクトルと原子配置で表現し、 さらに画像で表現 ➢ AEとVAEを組合せ、安定構造のサンプリングを実現 Wakasugi, Panasonic Corp.

関連研究 19 Crystal Structure Prediction via Deep Learning(2018) [2] ➢ 単位構造中の原子周りの他の原子の配置（距離）について 窓関数をかけたうえで，回転方向で積算 ➢ 三次元情報の欠落を防ぐため，摂動を加え（Multiple）12個のPerspectiveを生成 ➢ 12個のPerspectiveを画像としてVAEに入力 [1]より引用 [2]より引用 [2] Ryan, K., Lengyel, J., & Shatruk, M. (2018). Crystal structure prediction via deep learning. Journal of the American Chemical Society, 140(32), 10158-10168. Wakasugi, Panasonic Corp.

関連研究 20 Crystal Structure Prediction via Deep Learning(2018) [2] ➢ 単位構造の原子一つに対し，再構成を試みる →全原子についての確率の積が構造のもっと もらしさ ➢ 既存の構造に対し，新たな元素配置を検討し 新規構造発見に用いる [2]より引用 [2] Ryan, K., Lengyel, J., & Shatruk, M. (2018). Crystal structure prediction via deep learning. Journal of the American Chemical Society, 140(32), 10158-10168. Wakasugi, Panasonic Corp.

関連研究 21 Deep-learning approach to the structure of amorphous silicon(2019) [3] ➢ 大きめの単位構造を考え（原子216個）、 原子座標に対する生成モデルを構築 ➢ エネルギー的に安定なランダムな配置を学習． ➢ 低コストでSiのシミュレーションを実現できる [3]より引用 [3] Comin, M., & Lewis, L. J. (2019). Deep-learning approach to the structure of amorphous silicon. Physical Review B, 100(9), 094107. Wakasugi, Panasonic Corp.

関連研究 22 Deep-learning approach to the structure of amorphous silicon(2019) [3] ➢ 学習曲線と、生成例 ➢ エネルギー的に安定な原子配置を生成する [3]より引用 [3] Comin, M., & Lewis, L. J. (2019). Deep-learning approach to the structure of amorphous silicon. Physical Review B, 100(9), 094107. Wakasugi, Panasonic Corp.

生成対象の比較 23 [1] Noh, J., Kim, J., Stein, H. S., Sanchez-Lengeling, B., Gregoire, J. M., Aspuru-Guzik, A., & Jung, Y. (2019). Inverse Design of Solid-State Materials via a Continuous Representation. Matter, 1(5), 1370-1384. →構造を連続空間で定義し，構造を生成 [2] Ryan, K., Lengyel, J., & Shatruk, M. (2018). Crystal structure prediction via deep learning. Journal of the American Chemical Society, 140(32), 10158-10168. →原子座標の生成は行わず，既存の構造をDBとして新規の原子配置を生成 [3] Comin, M., & Lewis, L. J. (2019). Deep-learning approach to the structure of amorphous silicon. Physical Review B, 100(9), 094107. →対象の系を限定したうえで，DFTまたはMD計算を機械学習で代替し，原子座標を生成 Wakasugi, Panasonic Corp.

雑感 24 [1]について ➢ 単位ベクトルの変換方法がきれいで面白い ➢ 他の問題への適用可能性は高いと思われるものの，材料依存の癖があるため、 他の材料系にも適用しつつ汎用的手法として確立されていくか 全体として ➢ この分野のレビュー論文([4],[5])でも言及されるが，ベンチマークが不在のため比較が困難． ➢ 特に構造の特徴量化がポイントになると思うが， 対象の系が異なると特徴抽出すべき点が異なる（はず）なので，他の系に有効化はわからない Wakasugi, Panasonic Corp.

文献情報 25 [1] Noh, J., Kim, J., Stein, H. S., Sanchez-Lengeling, B., Gregoire, J. M., Aspuru-Guzik, A., & Jung, Y. (2019). Inverse Design of Solid-State Materials via a Continuous Representation. Matter, 1(5), 1370-1384. [2] Ryan, K., Lengyel, J., & Shatruk, M. (2018). Crystal structure prediction via deep learning. Journal of the American Chemical Society, 140(32), 10158-10168. [3] Comin, M., & Lewis, L. J. (2019). Deep-learning approach to the structure of amorphous silicon. Physical Review B, 100(9), 094107. [4] Agrawal, A., & Choudhary, A. (2019). Deep materials informatics: Applications of deep learning in materials science. MRS Communications, 9(3), 779-792. [5] Schmidt, J., Marques, M. R., Botti, S., & Marques, M. A. (2019). Recent advances and applications of machine learning in solid-state materials science. npj Computational Materials, 5(1), 1-36 Wakasugi, Panasonic Corp.