大規模言語モデル・化学・ロボット関連の研究進捗(2024年1月)
11.6K Views
January 05, 24
スライド概要
24年1月の学会・ワークショップなどで使うスライドです｡
大規模言語モデルに化学的思考を教示する研究などがハイライトとなっています｡
誤情報が含まれている可能性がありますので､ご了承ください｡
化学･材料･データ･AI･ロボット
関連スライド
各ページのテキスト
大規模言語モデル・化学・ ロボット関連の研究進捗 (2024年1月) Kan Hatakeyama Large Language Models with … プログラミングの補助 (23年4月-) 英語論文の執筆 (4月-) 機械学習における説明変数の選択 (4-6月) 化学実験の条件提案 (4-6月) 科学に関するよもやま相談 (10-12月) 化学的思考の教示 (12月-) new! 基盤モデルの構築(24年1月-) new! 1
筆者の紹介 Images are generated by ChatGPT / DALL-E 2
経歴 (official ver.) 西暦 所属 研究 19902006 東京(多摩)で育つ - 2009 早稲田大学高等学院 - 2013 早稲田大学 応用化学科 大隈記念奨学金､嶋崎褒賞ほか(首席卒業) (西出・小柳津研究室: 高分子合成・電気化学) 2018 早稲田大学 先進理工学研究科 学振DC1 (西出・小柳津研究室: 高分子合成・電気化学) 20182023 早稲田大学 応用化学科 講師(任期付) (小柳津・須賀研究室: 高分子合成・電気化学) レドックス活性ポリマー (JACS 2018, Chem. Rev. 2023, …) 有機二次電池 (Adv. Mater. 2018, …) 液晶配向 (JACS 2017, …) 高分子固体電解質 (JACS 2020, …) … 高分子学会 研究奨励賞(2022) ほか 2023- 東京工業大学 物質理工学院 助教 (早川・難波江研究室: 高分子合成) 低誘電材料､高熱伝導材料､ 半導体エッチング材料､… 原著論文: 47報(24年1月時点, 主著者>30報) 研究費(代表): 基盤B(2021-)､創発(2022-)､新学術 蓄電固体(2020-)､挑戦的研究・萌芽(2023-) ほか
経歴 (unofficial ver.) 西暦 所属 趣味(?) 副業(?) 個人的なイベント 中学 プログラミング 2009 (C++/Java/逆アセンブル…) 自作ソフトが雑誌掲載 陸上部で厳しい指導を受ける (大迫傑選手の元顧問) 2009 高校 量子力学(少しだけ) ー 独文学・哲学書などをかじる 2013 学部 電子工作(少しだけ) 友人のプログラミングの宿題を代行(?) 2018 院 モンテカルロ計算(JACS 2018) ほか 村上春樹をかじる(日・独英訳) 家賃3万の家@新宿に住む インデックス投資を開始 Python 2018 教員 機械学習 2023 グラフニューラルネット (Commun. Mater. 2020) 電子実験ノート (npj Comp. Mater. 2022) 量子アニール(Adv. Intel. Syst. 2021,..) 量子ゲート(Digital Discov. 2022,..),… 結婚・改姓(佐藤to畠山) 第一子が誕生 2023 東工 大規模言語モデル・ 大 ロボットアーム 大規模言語モデル(Digital Discov., STAM: Methods, arXiv)､ロボ実験 東大 松尾研 LLMサマースクール (3位) 洗濯機を屋内に設置可能で､ “バランス釜”でない風呂付きの 賃貸に引越(※追い焚きは不可)
2023年のダイジェスト動画 リンクはこちら 5
大規模言語モデル への期待と課題 6
言語モデルと化学の 「現在地」 • Nature (2023/12/20) ※プレプリントは2023/4/11 • 大規模言語モデルが自律的に研 究を行う可能性を示した研究 • 筆者も類似の論文を出版 • • • Prompt engineering of GPT-4 for chemical research: what can/cannot be done? 日経新聞(23/11/9) 東⼯⼤、「GPT4」連動ロボで化学実験 研究に⽣成 AI ほか 7
自動でできる・できないこと (Nature2023) • 実験操作や反応条件の提案 • 例: 鈴木ー宮浦カップリングの最適条件探索 • 化学法則を鑑みない既存手法(ベイズ最適化)よりも良い提案が可能 • ただし、本論文でのメインタスクは仮想探索 • 簡単なプログラミング • 例: 実験を行うためのロボット装置の制御 (自然言語で指示) • ただし、人間による注意深いプロンプト設計や確認は必要 • バイオ用の実験装置を用いた都合上、実験操作はピペッティング 8
GPT-4を擬人化すると… 非常に物知りな小学生 (!?) 9
GPT-4が得意・苦手なタスク A) ネット上の知識で答えられる • ◯ 一般的な質問への回答 • ✕ 先端分野の相談 B) ルールや経験則を適用しやすい • ◯ 言語､プログラミングなど • ✕ 学習データが少ない未知の事象 C) 曖昧な推論が許される • ◯ 参考意見の提示 • ✕ 正確な論証や厳密な回答 Aは学習データの問題 B,Cはモデルの「知性」の問題 10
言語モデル活用のためのロードマップ ルールや経験則が通用しやすいタスク(一般業務) 論文執筆の補助(翻訳) ルールや経験則が通用しやすいタスク(専門業務) 不規則性の高いタスク よろず相談(IT系) よろず相談(専門) データ分析・収集 実験操作の提案 自律動作・汎用AI プログラミング 実験結果の予測 高度な実験判断 研究テーマの提案 論文の自動作文 … GPT-4レベルで対応可能 科学に特化した データ・システムが必要 人工知能側の ブレイクスルーが必要 11
「シンギュラリティ」への道筋!? 不確定性が高いので､中長期の展望を考えるのは非常に困難 予測の難しさ • 情報科学の進歩は指数関数的(ムーア則) に進むので予測しにくい • そもそも知性の定義や定量化が困難(というより不可能?) • AIは人間とは異なる形で進化する可能性が高い 例: GPT-4の知識は全人類を”凌駕”したが､まだ思考能力は低い シンギュラリティ 人間を大幅に凌駕した状態 「深い思索」､「身体性」､… 人類の知性 「一問一答」､「質疑応答」､… AIの知性 現在 N年後 (N=5, 10, 30, 50, or 100?) 12
大規模言語モデルの 活用に向けた 筆者の取り組み(2023-) Digital Discovery (2023) STAM: Methods (2023) arXiv (2023) + On-going projects 13
主な成果・検討状況 • プログラミングの補助 (4月-) • 英語論文の執筆 (4月-) • 機械学習における説明変数の選択 (4-6月) • 化学実験の条件提案 (4-6月) • 科学に関するよもやま相談 (10-12月) • 化学的思考の教示 (12月-) new! • 基盤モデルの構築(1月-) new! 14
例: プログラミングの補助 (by GPT-4) • 便利な用途 • 簡単なコード生成 • エラーメッセージの読解 • 適用できない用途 • 全自動でのプログラムコード生成 (思考力が不足) • 主に大規模言語モデル関連の相談 (学習データが追いついていないため) (多くの方が既に利用されている分野なので､詳細は割愛) 15
例: 英語論文の執筆 (by GPT-4) 1. 2. 3. 日本語で下書きを生成 (> 10 hr) GPT-4に翻訳を依頼 (~ 1hr) 完成 GPT-4に書かせた論文の例 (9割以上はGPT-4が執筆) • Digital Discovery (2023) • STAM: Methods (2023) • arXiv (2023) 感想: • 高速かつスペル・文法ミスフリーなので､手放せない｡ • 査読者から「英語が下手」とのクレームが来なくなった (筆者(TOEIC>900)がまじめに論文を書くと､基本的にクレームが来る) • 学生の英文校正にも便利 16
例: 機械学習における説明変数の選択 マテリアルズ・インフォマティクスの課題の一つは､特徴量の選択 • 予測性能に直結する一方で､実は唯一の正解が無い • 研究者が特徴量を恣意に選ぶケースが大半なのは公然の秘密 • 本研究では､膨大な化学知識を持つGPT-4が特徴量の選択を代行 (for 屈折率予測) Borutaなどの既存手法よりも 高性能な予測結果を実現 詳細は下記論文を参照 Digital Discovery (2023) 17
例: 化学実験の条件提案 など GPT-4が化学的な思考を行いながら､次に行うべき実験条件を提示 (ベイズ最適化を超える性能を観測) STAM: Methods (2023) では､上記問題をはじめ､物性値の予測や化合物の認識精度など､種々のベンチマークタスクを評価 18
例: 科学に関するよもやま相談 オープンソースの大規模言語モデルLlama 2に最先端の学術論文などを追加学習させる条件を網羅的に検証 検討結果の詳細はこちらのWebスライドを参照 arXiv (2023) では､知識追加の検討に加え､6.5万件のオープンアクセス論文のデータセットも公開 (with 五十嵐先生@筑波大､片上先生@東大) 19
化学的思考 の教示 進行中のプロジェクト with 三内 顕義 先生 @ 京大 (こちらのNoteなどで進捗や実装コード類を公開中) 20
• 化学的にありえない予測や提案を連発する • 思考プロセスを理解できない 総合力は大半のケースで､実験者がAIを上回る (→ AIツールの使いどころが難しい)
人間 vs. 既存のAI 人間: 教科書などを学習 (実験 + 結果 + 説明) ・科学的に正しい思考様式が身につきやすい AI: データの羅列を学習 (実験+結果) ・科学理論を学ばないので､誤った思考様式に陥る恐れ → ありえない提案や解釈不能な予測を引き起こす主要因 ・解説が一切無しの問題集だけを独学で解くイメージ 22
融点データベースの例 Jean-Claude Bradley Open Melting Point Dataset 融点 分子構造(名称) • データベースには分子構造+物性のみ記録 • 「科学者の読み物」としては不適格 (考察がゼロ) 分子構造(SMILES) 23
大規模言語モデルにも「教科書」は有効 本研究などをきっかけに､言語モデルに対し､丁寧に物事を教えようという動きが活性化(2023-)｡ 24
GPT-4による「理由」の生成イメージ User: トルエンの沸点が110℃になる理由を考えてください 構造 GPT-4: 理由 物性 沸点: 110℃ トルエンの沸点が約110度である理由を考えるには、分子の構造とその物理的性質に 注目する必要があります。トルエンの分子式はC7H8で、ベンゼン環にメチル基が付 いた構造をしています。この特徴的な構造により、トルエンはいくつかの重要な物理 的性質を持っています。 1.分子間力: トルエン分子は、分子間におけるファンデルワールス力によって互いに 引き付けられます。これらの力は、分子のサイズや形状に依存し、トルエンの場合、比 較的大きな分子量とベンゼン環の存在により、これらの力は中程度の強さです。これ が沸点を上昇させる要因の一つです。 2.極性: トルエンは非極性分子ですが、ベンゼン環の電子密度とメチル基の存在によ り、わずかな極性を持ちます。これにより、分子間にはわずかな引力が働きますが、 これは沸点に大きな影響を与えるほどのものではありません。 3.水素結合: トルエン分子は水素結合を形成しません。水素結合は沸点を大幅に高め る力ですが、トルエンには適した水素と電気陰性原子の組み合わせがないため、この 効果はありません。… 関連研究: 主に数学系のタスクで､理由を自動生成するアイデア(chain-of-thought fine tuning)が2023年頃から出現 (arXiv:2312.02179､arXiv:2305.14045など) 25
実際のプロント例 Provide the quantitative Reason and Prediction so that a scientist, who does not know the melting point, can predict the value. #Commands- You must quantitatively consider how the melting point shifts, focusing on each functional groups. - Actual value and Prediction must match each other. - If Actual value and Prediction differ each other, rethink Reason. - If Prediction does not contain numbers for each functional group effect, rethink Reason #Example reason - Target compound: Toluene- Basic unit, benzene has a boiling point of 80. - Methyl group: +30 (due to larger molecular weight) - Prediction: 110 ※補足: ケモインフォマティクスの文脈では､Group contribution methodを言語レベルで行うイメージ 26
実際のプロント例(日訳) 融点を知らない科学者がその値を予測できるように、定量的な理由と 予測を述べなさい。 #各官能基に着目して、融点がどのように変化するかを定量的に考察すること。 - 実際の値と予測値は一致しなければならない。 - 実際の値とPredictionが異なる場合は、Reasonを再考すること。- Prediction に各官能基の効果の数値が含まれていない場合、Reasonを再考すること。 #理由例 - 対象化合物 トルエン：基本単位であるベンゼンの沸点は80である。 - メチル基： +30（分子量が大きいため）- 予想 110 ※補足: ケモインフォマティクスの文脈では､Group contribution methodを言語レベルで行うイメージ 27
構造ー理由ー物性データの例 #Problem ##Name: 2-Ethoxy-2-methylpropane ##SMILES: CC(C)(C)OCC ##Reason: The target compound, 2-Ethoxy-2-methylpropane, can be seen as derived from propane, which has a melting point of -187.7°C. Adding a methyl group generally increases the melting point due to increased molecular weight and van der Waals forces. For propane, adding a methyl group to become isobutane elevates the melting point to -159.6°C, indicating the effect of a methyl group is an increase of roughly +28°C. The presence of an ethoxy group (-OCC2H5) introduces an oxygen atom which can lead to dipole-dipole interactions and potential hydrogen bonding with trace moisture, increasing the melting point as well. The ethoxy group's effect on the melting point would be less straightforward to quantify without empirical data, but we can predict that it will raise the melting point to some extent. Considering the combined effect of an additional methyl group and an ethoxy group on the basic structure of propane, we can expect the overall melting point to be higher than that of propane, but lower than room temperature because the compound remains aliphatic and does not have strong intermolecular forces such as hydrogen bonding among its own molecules. ##Prediction: -94.0 ##Actual value: -94.0 28
構造ー理由ー物性データの例(日訳) #Problem ##Name: 2-Ethoxy-2-methylpropane ##SMILES: CC(C)(C)OCC ##理由 対象化合物である2-エトキシ-2-メチルプロパンは、-187.7℃の融点を持つプロパンか ら誘導されたと見ることができる。一般に、メチル基を加えると、分子量の増加とファンデル ワールス力により融点が上昇する。プロパンの場合、イソブタンになるためにメチル基を加え ると融点は-159.6℃に上昇し、メチル基の効果はおよそ+28℃の上昇であることがわかる。エ トキシ基（-OCC2H5）の存在は、酸素原子を導入し、双極子-双極子相互作用と微量水分との水 素結合の可能性をもたらし、同様に融点を上昇させる。エトキシ基が融点に及ぼす影響は、経 験的なデータがなければ定量化するのは容易ではないが、融点をある程度上昇させることは 予測できる。プロパンの基本構造に対する追加のメチル基とエトキシ基の複合効果を考慮す ると、この化合物は脂肪族のままであり、分子間の水素結合のような強い分子間力を持たな いため、全体の融点はプロパンの融点より高くなるが、室温よりは低くなると予想できる。 ##Prediction: -94.0 ##Actual value: -94.0 29
(検討中) 構造ー理由ー物性の言語データで ファインチューニングしたモデルの予測挙動 学習によって予測精度が向上｡作り込みや解析は今後の課題｡ R2 = -0.03 MAE = 91 学習前 R2 = 0.31 MAE = 55 学習後 [ファインチューニング] ベースモデル: Llama2-chat-13b, 学習法: LoRA (16 bit), Train: 約2500件, test: 50件, r=64, alpha=64, lr=10-5, epoch=3, layers=lm_head, v_proj, o_proj, gate_proj, up_proj 30
予測結果の例 • 1,4-dibromo-2-nitrobenzene • 実測: 84℃ • 予測: 70℃ • 理由 • "Starting with the basic benzene structure, which has a melting point of 5.5 ℃, the introduction of two bromine atoms on the 1 and 4 positions of the benzene ring adds significant molecular weight and increases the London dispersion forces, which can be estimated to increase the melting point substantially. Each bromine might contribute an estimated +30 ℃ due to their size and the increase in dispersion forces. The nitro group is a strong electron-withdrawing group, which contributes to intermolecular forces, especially dipole-dipole interactions. The nitro group can also form hydrogen bonds due to the presence of oxygen atoms, which could potentially raise the melting point. However, the contribution of a nitro group is typically less than that of a bromine atom in terms of melting point elevation; thus, an estimated increase of +20 ℃ from the nitro group is reasonable. Combining these adjustments to the base melting point of benzene, we have: basic benzene (+5.5), bromine substitutions (2x+30), and nitro group (+20).", 31
思考過程(日訳) • 1,4-dibromo-2-nitrobenzene • 実測: 84℃ • 予測: 70℃ 融点5.5℃の基本的なベンゼン構造から出発して、 ベンゼン環の1位と4位に2個の臭素原子を導入することにより、分子量が大幅に増加し、ロンドン分散力が増大 し、融点が大幅に上昇すると推定できる。 それぞれの臭素は、その大きさと分散力の増加により、推定+30℃寄与すると考えられる。 ニトロ基は強い電子吸引基であり、分子間力、特に双極子-双極子相互作用に寄与する。また、ニトロ基は酸素原 子の存在により水素結合を形成※し、融点を上昇させる可能性がある。しかし、ニトロ基による融点上昇の寄与 は、一般的に臭素原子による融点上昇の寄与よりも小さい。従って、ニトロ基による+20℃の上昇の見積もりは 妥当である。 ベンゼンの基本融点に対するこれらの調整を組み合わせると、基本ベンゼン（+5.5）、臭素置換（2x+30）、ニトロ 基（+20）となる※｡ ※筆者注 5.5 + 2x30 + 20 = 85.5℃(≒実測)なので､思考過程の妥当性は高そうである｡しかし予測値は70なので､ 今回の予測誤差は足し算のミスに由来している(→ 13bクラスの言語モデルは四則演算で間違いを犯しや 32 すい)｡また､考察中にある水素結合の記述は本化合物では不適切｡
基盤モデルの構築 練習中 33
なぜ基盤モデルを作るのか? • 言語モデルの性質理解 • 既存モデルへの追加学習では､知識の習得効率が著しく悪かったarXiv (2023) • 1つの事象を教えるために､似たような説明を繰り返す必要があった (i.e., data augmentation)｡ • ゼロから物事を教えたときの挙動を知りたい｡ • 化学や材料研究などに適合したモデル構築の必要性 • GPT-4は査読付き論文を殆ど読んでいない可能性 (購読契約の問題?)｡ • 国内で化学・材料科学などに焦点を当てた大規模言語モデルの案件は殆ど聞かない • 2023-24年は､医療・法律あたりに国内リソースが集中(?) 34
基盤モデルの構築練習 • 0.3Bモデルで練習中 • GPT3は175B､国内最大は10B程度(2023年) • Wikipediaの文章などを学習 • 構築したモデルの出力例 • Q: 冗談を言ってください。 • A: AIは、人間の知能をはるかに超えた能力を持っています。 AIが人間の能力 を超えるのは、その能力が人間より優れているからです。しかし、AIの能力は 人間よりも優れており、人間とAIを区別する能力も持っています。 • 今後 • 個人的なテキストの学習(>10年分の個人メールなど) • 計算リソースの拡大による大規模化 35
課題: 学術系のテキストを何処から集めるか? 従来慣習の踏襲を見直し､組織内に埋没したテキストを公開していこう､という機運の醸成が必要 • オープンアクセス論文やプレプリント(CC BYライセンス) • 学会予稿のオープンアクセス化(?) • 大半の予稿は､著作権(複製・公開権など)を学会に譲渡されている｡ • ただし「著作者人格権」(改変されない権利)は著者に残る (解説例)｡ • CC BY(-NC-ND)ライセンスで公開することは可能!? • 詳しい方､教えてください｡ • 卒論・修論・レポートなどの個人が持つテキストの公開 • 著作権は学生本人にあるので､ CC BYライセンスで公開するプラット フォームがあると良い｡ 36
論文を書く 課題: 大半の論文は 学習データとして不適格!? プレプリント (or オープンアクセス論文)に 改変・商用利用可能なテキスト以外は､ オープンソースでの活用が極めて困難 出す 出さない ライセンス形態 不適格!? 論文購読※が有料・データの再配布も不可なので AIの学習テキストに使うには非常に困難 (※大量ダウンロードも契約上､不可なケースが大半) CC BY相当 CC BYNC-NDなど OK 不適格!? ND(改変不可): 学習用に加工したデータの再配布に制約 NC(商用不可): 民間企業が使いにくい｡ CC BYや著作物フリーの場合､AIに学習してもらえる可能性が高まります 37
AI・ロボットを融合した 化学実験 38
5-10年後(?) • ユーザー: 「◯◯を合成して」 • AI: 「はい､やっておきます」 1. 合成プランを考案 2. フローチャートを作成 3. プログラムコードを生成&ロボット実験 夢のようなシステムに見えるが､ 実はAIが得意なタスク (ルールや経験則が通用する領域) 詳細はSTAM: Methods (2023)などを参照 39
汎用(・自家製) ロボットの良さ • 安い • 量産品を皆で共有できる｡ • カスタマイズしやすい • 自分の欲しい物を作れる｡ • 展開が早い • コストが低いので試行回数を増やせる｡ 安価で量産可能な汎用ハードウェアを､ “限界費用ゼロ”のAIで制御する (金銭・人的な複製コストの大幅削減) 40
2023年のダイジェスト動画(再掲) リンクはこちら 41
ポリイミドの合成 PMDA ODA カプトン® 超耐熱・超耐寒性ポリイミドフィルム 重縮合反応のため､モノマー比を厳密に1:1にする必要 構築中のシステム ・深層学習(YOLO)でガラス瓶の口と座標を自動認識 ・日本語でピペッタの移動処理などを指示可能 42
装置作成 by 高石先生@東北大 合成プログラム ハード ソフト アームを原点にセット サンプル瓶の数を入力 サンプル瓶の種類を入力 複数点で画像認識を行う マップの作成 マップ上のラベルとサンプル瓶の 種類を対応付ける どのような操作をするか入力 入力された操作に従って動く (溶液濃度 0.236 mol/L PMDA 2.5 mL, ODA 2.5 mL) 3時間待機 合成用からサンプルを吸引 キャスト用にサンプルを排出 Video.1 仕込み操作（12倍速） 43
装置作成 by 高石先生@東北大 合成プログラム ハード ソフト アームを原点にセット サンプル瓶の数を入力 サンプル瓶の種類を入力 複数点で画像認識を行う マップの作成 マップ上のラベルとサンプル瓶の 種類を対応付ける どのような操作をするか入力 入力された操作に従って動く （吸引、排出、洗浄） 3時間待機 合成用からサンプルを吸引 キャスト用にサンプルを排出 Video.2 キャスト操作（12倍速） 44
合成ポリマーの様子 今後のTODO • • • • • • • 不活性条件の構築 実験記録の自動化 並列での合成 人間との比較 GPTでのシステム制御 種々の重合法への展開 … 世界で初めて深層学習とロボットを 使って合成したポリイミド前駆体 (?) ※ 膜がクオリティはとても低いです 45
まとめ: 言語モデル活用のロードマップ 言語モデルの特徴を見極めつつ､実空間との対応も踏まえながら研究開発していく戦略が必要(?) ルールや経験則が通用しやすいタスク(一般業務) 論文執筆の補助(翻訳) ルールや経験則が通用しやすいタスク(専門業務) 不規則性の高いタスク よろず相談(IT系) よろず相談(専門) データ分析・収集 実験操作の提案 自律動作 プログラミング 実験結果の予測 高度な実験判断 研究テーマの提案 論文の自動作文 … GPT-4レベルで対応可能 科学に特化した データ・システムが必要 人工知能側の ブレイクスルーが必要 46
参考: 周辺状況など (※筆者の主観です) 47
大規模言語モデルの教育機会を どう確保するか? • 個人的な意見: オンライン教育システムの活用(自前主義は大変) • 例: 東大 松尾研究室がオンラインスクールを開講(2023年夏) • 意欲ある入門者が受講 • 2000名弱が受講登録 • 年齢や身分などの制限なし • 筆者も受講 48
化学系でラボオートメーションの研究を 進める際の課題と対応策(?) • 筆者所属の化学系の学科・研究室内の学生はAI・ロボットの知識・経験・興味が決して高くはない • 学生の選抜方式やカリキュラムを鑑みると､当然の帰結 • 既存の枠組みで最先端のAI・ロボット研究を行う組織を作るのは､非常に高難度 • • たまたまAI・ロボットが得意な学生が研究室に配属される可能性は非常に低い AI・ロボット分野への興味が薄い学生に担当させるのは､双方にとってunhappy • ラボ毎に独自にノウハウを積んでいる状況で､情報交換の機会もあまりない • 対応策の一つとして､筆者が23年12月にチャットサーバーを設置 • AI・ロボット・化学channel (Discord) • メンバーは70名ほど (24年1月時点) • 言語モデル､ロボット､化学系に興味がある方が中心｡匿名可 • 日常的な実験進捗の共有や相談など • • 現時点では筆者の研究報告が多い 情報提供のほか､困りごとに答えてくれる方がいらしゃるので､非常に有益 • オープンサイエンス的な取り組みを検討中 • • • 構造・物性相関予測行う言語モデルを皆で作る(?) 化学実験の条件を自律的に考える言語モデルを皆で作る(?) … • バイオ系ではLaboratory Automation(2019-)などの緩い(?)研究会も有り 49
学会・論文関連の課題と潮流(?) • ジャーナルのScopeと合わないケースが顕在化 • 例: 化学&GPT-4の活用研究(STAM: Methods 2023)が某ジャーナルでエディターキック(化学色が薄いため) • ちなみに海外の類似研究はNature 2023に掲載 • AI・ロボット寄りの内容で､化学色が薄い研究はお断りの雑誌は多い • しかし現実問題として､最先端のAI・ロボット技術を使った化学研究を行うためには､基礎検討が必須 • 「ボタンを押すだけでOK」なAI・ロボット技術は､最先端ではなく「枯れた手法」 • 学会でのドレスコードの問題 • 化学系ではスーツが基本 • AI系では私服が基本 • 最近の流れ: 新たなジャーナルや学会の発足 • Digital Discovery • イギリス王室化学会の新刊ジャーナル • AIやハードウェアのみの研究も基本OK • STAM:Methods • NIMS発行のジャーナル • Methodsに特化したAIやハードウェアのみの研究なども基本OK • Laboratory Acceleration • AI系のトップカンファレンスNeurIPSとも連携した国際会議 50
国内での大規模言語モデルの開発状況 • 世界トップと比べ､規模では数年は遅れている状況 • • • • 米: Open AI “GPT-3” (2020, 1750億パラメータ) 日: Preferred Networks “PLaMo” (2023, 130億パラメータ) 日: 東大 松尾研 “Weblab-10B” (2023, 100億パラメータ) … • 2024年の動向 • • • • 国内でも数百ー数千億パラメータのモデルが出てくる見込み ソフトバンク (3500億パラメータ) NEDOの支援 など 51
国内での化学&大規模言語モデルの課題 • 2023,24年での言語モデルの開発プレイヤーはIT系が大半 • ソフトバンク､サイバーエージェント､Preferred Networks､NTT､… • 製造系の人材が関わる案件を(少なくとも筆者は)殆ど聞かない • 製造系: 化学､材料､… • 例: LLM.jp (国内最大のLLM組織) • Webサイトに例示されている「他分野展開先」では製造系への言及なし｡ • 「医療・法律・教育・マルチモーダル情報・ロボット制御」(23/12/20閲覧)｡ • コミュニティ内のSlackでも「化学」というキーワードはほぼゼロ｡ • 化学や材料に強い大規模言語モデルが国内で自然発生する可能性は低い!? • IT系のユーザーがアクセス可能できる良質なテキストが少ない(組織内での囲い込み) 52
ラボオートメーションの課題 • 化学者の大半は「ロボットの気持ち」を察するのが難しい • ロボットを使い実験系を組み立てる際の思考様式や､手立てがわからない｡ • 「最先端」と「枯れた手法」の峻別が難しい｡ • 適切なシステム設計や研究レベルを評価する際の障壁｡ • ラボオートメーションの魅力や課題の共有が必要 • 多くの家庭用ロボットよりも､恐らくは実用化に近い魅力的な分野!? • タスクや作業環境の自由度を家庭用ロボよりも低く抑えられる｡ • 人手不足や安全性などの懸念もあり､市場規模が見込める｡ • ロボットにとって､実験作業の何が得意/難しいのかを丁寧に整理する作業が必要 • 加えて､「科学実験ロボコン」のようなコンペがあると裾野が広がる? 53