【DeNATechCon2024】未来医療の革新 AIを活用した医療情報の効率的構造化

未来医療の⾰新 AIを活⽤した医療情報の効率的構造化 森 ⼤輝 Fernando Wong © DeNA Co., Ltd.

⾃⼰紹介 名前: 森 大輝 専門: 音声認識, 音声感情認識, 自然言語処理 趣味: 野球観戦, 猫と遊ぶ 好きなゲーム: 桃鉄 桃鉄で一番好きなカード: 豪速球 © DeNA Co., Ltd. 2

⾃⼰紹介 © DeNA Co., Ltd. 3

やってきたこと 同⼤学院⼊学 ‧⾳声認識に関する研究 ‧某国⽴研究所にてインターン (⾳声感情認識の研究) 阿南⾼専卒業 ‧医療⾳声認識に関する研究 豊橋技科⼤⼊学 2020/04 2017/04 ~ 2022/04 2021/04 2019/03~04 阿南⾼専 ‧“光×深層学習”の研究 ‧Androidアプリ開発など DeNA 新卒⼊社 ‧⾳声認識の事業応⽤ ‧医療分野でのLLM活⽤ 豊橋技科⼤ ‧⾳声認識に関する研究 ‧某元国営企業と共同研究 2023/04 MTG⾃動議事録 作成システムの開発 ⾳声系AIコンサル業務 (アルバイト) © DeNA Co., Ltd. 4

⾃⼰紹介 Fernando Wong（フェルナンド ウォン） 株式会社アルム 研究開発部リサーチグループ ● 中⽶のパナマで⽣まれ育つ ○ ほぼ世界の反対側にある ○ パナマ運河があるところ ● 2007年に東京⼤学⼤学院留学のため来⽇ ● 2011年よりアルムR&Dにリサーチエンジニアとして勤務 ● スペイン語がネイティブで英語も話せます ○ ⽇本語も少し話せますが、TechCon のプレゼンテー ションには⼗分ではありません © DeNA Co., Ltd. 5

⾃⼰紹介 Fernando Wong（フェルナンド ウォン） 株式会社アルム 研究開発部リサーチグループ ● 中⽶のパナマで⽣まれ育つ ○ ほぼ世界の反対側にある ○ パナマ運河があるところ ● 2007年に東京⼤学⼤学院留学のため来⽇ ● 2011年よりアルムR&Dにリサーチエンジニアとして勤務 ● スペイン語がネイティブで英語も話せます ○ ⽇本語も少し話せますが、TechCon のプレゼンテー ションには⼗分ではありません パナマ運河のガトゥン閘⾨ Stan Shebs, CC BY-SA 3.0, via Wikimedia Commons © DeNA Co., Ltd. 6

• https://commons.wikimedia.org/wiki/File:Panama_Canal_Gatun_Locks.jpg
• https://creativecommons.org/licenses/by-sa/3.0

⾃⼰紹介 Fernando Wong（フェルナンド ウォン） 株式会社アルム 研究開発部リサーチグループ ● 中⽶のパナマで⽣まれ育つ ○ ほぼ世界の反対側にある ○ パナマ運河があるところ ● 2007年に東京⼤学⼤学院留学のため来⽇ ● 2011年よりアルムR&Dにリサーチエンジニアとして勤務 ● スペイン語がネイティブで英語も話せます ○ ⽇本語も少し話せますが、TechCon のプレゼンテー ションには⼗分ではありません パナマ運河のガトゥン閘⾨ Stan Shebs, CC BY-SA 3.0, via Wikimedia Commons © DeNA Co., Ltd. 7

• https://commons.wikimedia.org/wiki/File:Panama_Canal_Gatun_Locks.jpg
• https://creativecommons.org/licenses/by-sa/3.0

⾃⼰紹介 Fernando Wong（フェルナンド ウォン） 株式会社アルム 研究開発部リサーチグループ ● 中⽶のパナマで⽣まれ育つ ○ ほぼ世界の反対側にある ○ パナマ運河があるところ ● 2007年に東京⼤学⼤学院留学のため来⽇ ● 2011年よりアルムR&Dにリサーチエンジニアとして勤務 ● スペイン語がネイティブで英語も話せます ○ ⽇本語も少し話せますが、TechCon のプレゼンテー ションには⼗分ではありません パナマ運河のガトゥン閘⾨ Stan Shebs, CC BY-SA 3.0, via Wikimedia Commons © DeNA Co., Ltd. 8

• https://commons.wikimedia.org/wiki/File:Panama_Canal_Gatun_Locks.jpg
• https://creativecommons.org/licenses/by-sa/3.0

⾃⼰紹介 Fernando Wong（フェルナンド ウォン） 株式会社アルム 研究開発部リサーチグループ ● 中⽶のパナマで⽣まれ育つ ○ ほぼ世界の反対側にある ○ パナマ運河があるところ ● 2007年に東京⼤学⼤学院留学のため来⽇ ● 2011年よりアルムR&Dにリサーチエンジニアとして勤務 ● スペイン語がネイティブで英語も話せます ○ ⽇本語も少し話せますが、TechCon のプレゼンテー ションには⼗分ではありません🙇 パナマ運河のガトゥン閘⾨ Stan Shebs, CC BY-SA 3.0, via Wikimedia Commons © DeNA Co., Ltd. 9

• https://commons.wikimedia.org/wiki/File:Panama_Canal_Gatun_Locks.jpg
• https://creativecommons.org/licenses/by-sa/3.0

Part 1 ‧アルムとは ‧Joinとは ‧症例機能における課題 © DeNA Co., Ltd. 10

Part 1 ‧アルムとは ‧Joinとは ‧症例機能における課題 © DeNA Co., Ltd. 11

Part 1 ‧アルムとは ‧Joinとは ‧症例機能における課題 © DeNA Co., Ltd. 12

Part 2 ‧AI technologyを⽤いた課題解決 ‧医療タスクにおけるChallenging point ‧CloudベースのAIプラットフォーム ‧LLM (Large Language Model) ‧検証実験 ‧おわりに © DeNA Co., Ltd. 13

Part 2 ‧AI technologyを⽤いた課題解決 ‧医療タスクにおけるChallenging point ‧CloudベースのAIプラットフォーム ‧LLM (Large Language Model) ‧検証実験 ‧おわりに © DeNA Co., Ltd. 14

Part 2 ‧AI technologyを⽤いた課題解決 ‧医療タスクにおけるChallenging point ‧CloudベースのAIプラットフォーム ‧LLM (Large Language Model) ‧検証実験 ‧おわりに © DeNA Co., Ltd. 15

Part 2 ‧AI technologyを⽤いた課題解決 ‧医療タスクにおけるChallenging point ‧CloudベースのAIプラットフォーム ‧LLM (Large Language Model) ‧検証実験 ‧おわりに © DeNA Co., Ltd. 16

Part 2 ‧AI technologyを⽤いた課題解決 ‧医療タスクにおけるChallenging point ‧CloudベースのAIプラットフォーム ‧LLM (Large Language Model) ‧検証実験 ‧おわりに © DeNA Co., Ltd. 17

Part 2 ‧AI technologyを⽤いた課題解決 ‧医療タスクにおけるChallenging point ‧CloudベースのAIプラットフォーム ‧LLM (Large Language Model) ‧検証実験 ‧おわりに © DeNA Co., Ltd. 18

Mission ICTの⼒で医療の格差‧ミスマッチを無くし、 全ての⼈に公平な医療福祉を実現 © DeNA Co., Ltd. 19

Mission ICTの⼒で医療の格差‧ミスマッチを無くし、 全ての⼈に公平な医療福祉を実現 © DeNA Co., Ltd. 20

Joinとは ‧Joinの概要 ‧使い⽅ ‧Joinにおける医療症例機能 © DeNA Co., Ltd. 21

Joinとは ‧Joinの概要 ‧使い⽅ ‧Joinにおける医療症例機能 © DeNA Co., Ltd. 22

Joinとは ‧Joinの概要 ‧使い⽅ ‧Joinにおける医療症例機能 © DeNA Co., Ltd. 23

Joinとは ‧Joinの概要 ‧使い⽅ ‧Joinにおける医療症例機能 © DeNA Co., Ltd. 24

Joinとは ‧Joinの概要 医療関係者間コミュニケーションアプリ - ⽇本初の保険適⽤アプリ - 世界累計30カ国以上への導⼊実績 - ⽇本、⽶国（FDA）、欧州（CE）、ブラ ジルなど9ヶ国で医療機器認証取得 ※画像はサンプルであり実際のものとは異なります。 © DeNA Co., Ltd. 25

Joinとは ‧Joinの概要 主な機能 ● ● ● ● ● ● 1：1 / グループチャット ⾳声/ビデオ通話 DICOMビューワー 臨床データの共有 リアルタイム動画配信 その他... チャット ⾳声/ビデオ通話 DICOMビューワー ※画像はサンプルであり実際のものとは異なります。 © DeNA Co., Ltd. 26

Joinとは ‧Joinの概要 ‧使い⽅ ‧Joinにおける医療症例機能 © DeNA Co., Ltd. 27

Joinとは ‧使い⽅ 院外 A病院 院内 B ストローク グループ ABC病院 グループ D 脳外科 グループ 看護師 グループ AD病院 グループ C DEF病院 グループ E © DeNA Co., Ltd. Joinは病院内外問わず、様々な場⾯でご活⽤頂けます。 F 28

Joinとは ‧使い⽅ 各グループを作成し、院内のコミュニケー ションツールとして活用 院外 A病院 院内 B ストローク グループ ABC病院 グループ D 脳外科 グループ 看護師 グループ AD病院 グループ C DEF病院 グループ E © DeNA Co., Ltd. Joinは病院内外問わず、様々な場⾯でご活⽤頂けます。 F 29

Joinとは ‧使い⽅ 院外にいる専門医ともチャットや画像を用い てスムーズな情報共有やコンサルテーション が可能 各グループを作成し、院内のコミュニケー ションツールとして活用 院外 A病院 院内 B ストローク グループ ABC病院 グループ D 脳外科 グループ 看護師 グループ AD病院 グループ C DEF病院 グループ E © DeNA Co., Ltd. Joinは病院内外問わず、様々な場⾯でご活⽤頂けます。 F 30

Joinとは ‧使い⽅ 院外にいる専門医ともチャットや画像を用い てスムーズな情報共有やコンサルテーション が可能 各グループを作成し、院内のコミュニケー ションツールとして活用 院外 A病院 院内 B ストローク グループ ABC病院 グループ D 脳外科 グループ 看護師 グループ AD病院 グループ C DEF病院 グループ • 複数の病院とつながることで症例相談や患者紹介が容易に • 緊急紹介の際には、病院間での情報共有で緊急搬送プロセスを効率化 E © DeNA Co., Ltd. Joinは病院内外問わず、様々な場⾯でご活⽤頂けます。 F 31

Joinとは ‧使い⽅ 使⽤例を紹介 院外にいる専門医ともチャットや画像を用い てスムーズな情報共有やコンサルテーション が可能 各グループを作成し、院内のコミュニケー ションツールとして活用 院外 A病院 院内 B ストローク グループ ABC病院 グループ D 脳外科 グループ 看護師 グループ AD病院 グループ C DEF病院 グループ • 複数の病院とつながることで症例相談や患者紹介が容易に • 緊急紹介の際には、病院間での情報共有で緊急搬送プロセスを効率化 E © DeNA Co., Ltd. Joinは病院内外問わず、様々な場⾯でご活⽤頂けます。 F 32

Joinとは ‧使い⽅ 使⽤例：専⾨医のアドバイスを求める ● 医師は症例の詳細を含むチャットまたは⾳声メッセージを送信し、アプリ を通じて共有できます ● 専⾨医は適時にメッセージを確認し、それに応じて応答できます ● 医師は診断を確認するために専⾨医から要求された医⽤画像を共有するこ とができます ● 必要に応じて、専⾨医がビデオ通話を通じて治療中にリアルタイムでガイ ダンスを提供する場合があります ● これにより、時間が節約されるだけでなく、正確かつ簡潔なコミュニケー ションが可能となります ※画像はサンプルであり実際のものとは異なります。 © DeNA Co., Ltd. 33

Joinとは ‧使い⽅ 使⽤例：専⾨医のアドバイスを求める ● 医師は症例の詳細を含むチャットまたは⾳声メッセージを送信し、アプリ を通じて共有できます ● 専⾨医は適時にメッセージを確認し、それに応じて応答できます ● 医師は診断を確認するために専⾨医から要求された医⽤画像を共有するこ とができます ● 必要に応じて、専⾨医がビデオ通話を通じて治療中にリアルタイムでガイ ダンスを提供する場合があります ● これにより、時間が節約されるだけでなく、正確かつ簡潔なコミュニケー ションが可能となります ※画像はサンプルであり実際のものとは異なります。 © DeNA Co., Ltd. 34

Joinとは ‧使い⽅ 使⽤例：専⾨医のアドバイスを求める ● 医師は症例の詳細を含むチャットまたは⾳声メッセージを送信し、アプリ を通じて共有できます ● 専⾨医は適時にメッセージを確認し、それに応じて応答できます ● 医師は診断を確認するために専⾨医から要求された医⽤画像を共有するこ とができます ● 必要に応じて、専⾨医がビデオ通話を通じて治療中にリアルタイムでガイ ダンスを提供する場合があります ● これにより、時間が節約されるだけでなく、正確かつ簡潔なコミュニケー ションが可能となります ※画像はサンプルであり実際のものとは異なります。 © DeNA Co., Ltd. 35

Joinとは ‧使い⽅ 使⽤例：専⾨医のアドバイスを求める ● 医師は症例の詳細を含むチャットまたは⾳声メッセージを送信し、アプリ を通じて共有できます ● 専⾨医は適時にメッセージを確認し、それに応じて応答できます ● 医師は診断を確認するために専⾨医から要求された医⽤画像を共有するこ とができます ● 必要に応じて、専⾨医がビデオ通話を通じて治療中にリアルタイムでガイ ダンスを提供する場合があります ● これにより、時間が節約されるだけでなく、正確かつ簡潔なコミュニケー ションが可能となります ※画像はサンプルであり実際のものとは異なります。 © DeNA Co., Ltd. 36

Joinとは ‧使い⽅ 使⽤例：専⾨医のアドバイスを求める ● 医師は症例の詳細を含むチャットまたは⾳声メッセージを送信し、アプリ を通じて共有できます ● 専⾨医は適時にメッセージを確認し、それに応じて応答できます ● 医師は診断を確認するために専⾨医から要求された医⽤画像を共有するこ とができます ● 必要に応じて、専⾨医がビデオ通話を通じて治療中にリアルタイムでガイ ダンスを提供する場合があります ● これにより、時間が節約されるだけでなく、正確かつ簡潔なコミュニケー ションが可能となります ※画像はサンプルであり実際のものとは異なります。 © DeNA Co., Ltd. 37

Joinとは ‧Joinの概要 ‧使い⽅ ‧Joinにおける医療症例機能 © DeNA Co., Ltd. 38

Joinとは ‧Joinにおける医療症例機能 Joinで臨床データを複数の形式で共有できる チャット オーディオ ビデオ PDF その他 これにより、医療関係者同⼠で⾮構造化臨床情報を迅速に共有することが容易になります。 さらに、レポート作成、分析、または各病院のワークフローに準拠する⽬的で、構造化された 臨床データを共有することもできます... © DeNA Co., Ltd. 39

Joinとは ‧Joinにおける医療症例機能 Joinで臨床データを複数の形式で共有できる チャット オーディオ ビデオ PDF その他 これにより、医療関係者同⼠で⾮構造化臨床情報を迅速に共有することが容易になります。 さらに、レポート作成、分析、または各病院のワークフローに準拠する⽬的で、構造化された 臨床データを共有することもできます... © DeNA Co., Ltd. 40

Joinとは ‧Joinにおける医療症例機能 医療症例機能について ● アプリ内で構造化された医療データを収集できる ● 医療機関が、独⾃のユースケースに合わせてカスタマイズさ れた臨床ワークフローを作成できる ● 症例情報が更新されるたびに関係者に通知が送信される ● 症例情報は、Join に登録されている他のグループ/医療機関 と共有または転送できる ※画像はサンプルであり実際のものとは異なります。 © DeNA Co., Ltd. 41

Joinとは ‧Joinにおける医療症例機能 医療症例機能について ● アプリ内で構造化された医療データを収集できる ● 医療機関が、独⾃のユースケースに合わせてカスタマイズさ れた臨床ワークフローを作成できる ● 症例情報が更新されるたびに関係者に通知が送信される ● 症例情報は、Join に登録されている他のグループ/医療機関 と共有または転送できる ※画像はサンプルであり実際のものとは異なります。 © DeNA Co., Ltd. 42

Joinとは ‧Joinにおける医療症例機能 医療症例機能について ● アプリ内で構造化された医療データを収集できる ● 医療機関が、独⾃のユースケースに合わせてカスタマイズさ れた臨床ワークフローを作成できる ● 症例情報が更新されるたびに関係者に通知が送信される ● 症例情報は、Join に登録されている他のグループ/医療機関 と共有または転送できる ※画像はサンプルであり実際のものとは異なります。 © DeNA Co., Ltd. 43

Joinとは ‧Joinにおける医療症例機能 医療症例機能について ● アプリ内で構造化された医療データを収集できる ● 医療機関が、独⾃のユースケースに合わせてカスタマイズさ れた臨床ワークフローを作成できる ● 症例情報が更新されるたびに関係者に通知が送信される ● 症例情報は、Join に登録されている他のグループ/医療機関 と共有または転送できる ※画像はサンプルであり実際のものとは異なります。 © DeNA Co., Ltd. 44

医療症例機能における課題 ‧⾮構造化臨床データと構造化臨床データ ‧医療ワークフローの変動 ‧医療スタッフの情報過多と時間的制約 ‧課題に対する解決策 © DeNA Co., Ltd. 45

医療症例機能における課題 ‧⾮構造化臨床データと構造化臨床データ ‧医療ワークフローの変動 ‧医療スタッフの情報過多と時間的制約 ‧課題に対する解決策 © DeNA Co., Ltd. 46

医療症例機能における課題 ‧⾮構造化臨床データと構造化臨床データ ‧医療ワークフローの変動 ‧医療スタッフの情報過多と時間的制約 ‧課題に対する解決策 © DeNA Co., Ltd. 47

医療症例機能における課題 ‧⾮構造化臨床データと構造化臨床データ ‧医療ワークフローの変動 ‧医療スタッフの情報過多と時間的制約 ‧課題に対する解決策 © DeNA Co., Ltd. 48

医療症例機能における課題 ‧⾮構造化臨床データと構造化臨床データ ‧医療ワークフローの変動 ‧医療スタッフの情報過多と時間的制約 ‧課題に対する解決策 © DeNA Co., Ltd. 49

医療症例機能における課題 ‧⾮構造化臨床データと構造化臨床データ - 医療関係者は、チャットメッセージやその他 の構造化されていないデータの速さと使いや すさを好む... - 同時に、彼らは規制の遵守と効果的な分析を 可能にするために、この情報を医療症例に取 り込む必要性も認識しています。 © DeNA Co., Ltd. 医療症例に同じデータを再⼊⼒するのを避ける⽅法はありますか？ 50

医療症例機能における課題 ‧⾮構造化臨床データと構造化臨床データ - 医療関係者は、チャットメッセージやその他 の構造化されていないデータの速さと使いや すさを好む... - 同時に、彼らは規制の遵守と効果的な分析を 可能にするために、この情報を医療症例に取 り込む必要性も認識しています。 ※画像はサンプルであり実際のものとは異なります。 © DeNA Co., Ltd. 医療症例に同じデータを再⼊⼒するのを避ける⽅法はありますか？ 51

医療症例機能における課題 ‧⾮構造化臨床データと構造化臨床データ - 医療関係者は、チャットメッセージやその他 の構造化されていないデータの速さと使いや すさを好む... - 同時に、彼らは規制の遵守と効果的な分析を 可能にするために、この情報を医療症例に取 り込む必要性も認識しています。 ※画像はサンプルであり実際のものとは異なります。 © DeNA Co., Ltd. 医療症例に同じデータを再⼊⼒するのを避ける⽅法はありますか？ 52

医療症例機能における課題 ‧医療ワークフローの変動 - 医療ワークフローは病院や国によって⼤きく 異なる場合があります。 - これらの変動には、場所に応じて必要な検 査、医療処置、または特定のデータの違い が含まれる可能性があります。 - このため、従来の⽅法を使⽤して⾮構造化 データから医療情報を抽出することが困難 になります。 © DeNA Co., Ltd. このような状況で医療情報を⼀貫して構造化するにはどうすればよいでしょうか? 53

医療症例機能における課題 ‧医療ワークフローの変動 - 医療ワークフローは病院や国によって⼤きく 異なる場合があります。 - これらの変動には、場所に応じて必要な検 査、医療処置、または特定のデータの違い が含まれる可能性があります。 - このため、従来の⽅法を使⽤して⾮構造化 データから医療情報を抽出することが困難 になります。 © DeNA Co., Ltd. このような状況で医療情報を⼀貫して構造化するにはどうすればよいでしょうか? 54

医療症例機能における課題 ‧医療ワークフローの変動 - 医療ワークフローは病院や国によって⼤きく 異なる場合があります。 - これらの変動には、場所に応じて必要な検 査、医療処置、または特定のデータの違い が含まれる可能性があります。 - このため、従来の⽅法を使⽤して⾮構造化 データから医療情報を抽出することが困難 になります。 © DeNA Co., Ltd. このような状況で医療情報を⼀貫して構造化するにはどうすればよいでしょうか? 55

医療症例機能における課題 ‧医療ワークフローの変動 - 医療ワークフローは病院や国によって⼤きく 異なる場合があります。 - これらの変動には、場所に応じて必要な検 査、医療処置、または特定のデータの違い が含まれる可能性があります。 - このため、従来の⽅法を使⽤して⾮構造化 データから医療情報を抽出することが困難 になります。 © DeNA Co., Ltd. このような状況で医療情報を⼀貫して構造化するにはどうすればよいでしょうか? 56

医療症例機能における課題 ‧医療スタッフの情報過多と時間的制約 © DeNA Co., Ltd. - チャットなどを⾒直して同じデータを⻑ い臨床フォームに再⼊⼒するのには、か なりの労⼒がかかります。 - 医療スタッフは多忙を極めているので、 1⽇の業務の最後にこのタスクを実⾏す るケースが多いです。 - このプロセスはエラーの原因となり、医 療スタッフをさらに疲弊させます。 この作業を⾏う際の医療スタッフの負担を軽減するにはどうすればよいでしょうか? 57

医療症例機能における課題 ‧医療スタッフの情報過多と時間的制約 © DeNA Co., Ltd. - チャットなどを⾒直して同じデータを⻑ い臨床フォームに再⼊⼒するのには、か なりの労⼒がかかります。 - 医療スタッフは多忙を極めているので、 1⽇の業務の最後にこのタスクを実⾏す るケースが多いです。 - このプロセスはエラーの原因となり、医 療スタッフをさらに疲弊させます。 この作業を⾏う際の医療スタッフの負担を軽減するにはどうすればよいでしょうか? 58

医療症例機能における課題 ‧医療スタッフの情報過多と時間的制約 ____ _____ ✘ ✘ ✘ ____ _____ ✔ ✔ ✔ ____ _____ ✘ ✘ ✘ ____ _____ ✘ ✘ ✘ © DeNA Co., Ltd. - チャットなどを⾒直して同じデータを⻑ い臨床フォームに再⼊⼒するのには、か なりの労⼒がかかります。 - 医療スタッフは多忙を極めているので、 1⽇の業務の最後にこのタスクを実⾏す るケースが多いです。 - このプロセスはエラーの原因となり、医 療スタッフをさらに疲弊させます。 この作業を⾏う際の医療スタッフの負担を軽減するにはどうすればよいでしょうか? 59

医療症例機能における課題 ‧医療スタッフの情報過多と時間的制約 ____ _____ ✘ ✘ ✘ ____ _____ ✔ ✔ ✔ ____ _____ ✘ ✘ ✘ ____ _____ ✘ ✘ ✘ © DeNA Co., Ltd. - チャットなどを⾒直して同じデータを⻑ い臨床フォームに再⼊⼒するのには、か なりの労⼒がかかります。 - 医療スタッフは多忙を極めているので、 1⽇の業務の最後にこのタスクを実⾏す るケースが多いです。 - このプロセスはエラーの原因となり、医 療スタッフをさらに疲弊させます。 この作業を⾏う際の医療スタッフの負担を軽減するにはどうすればよいでしょうか? 60

医療症例機能における課題 ‧課題に対する解決策 - さまざまな⼊⼒形式からテキストデータを取得 - ⾃然⾔語処理 (NLP) による臨床データ抽出の⾃動化 ○ ⻑いテキストから関連情報を抽出するのに役⽴ち、ユーザーの作業負荷を ⼤幅に軽減します。 - ⼈間が介在し、精度と患者の安全を確保 ○ 患者への危害を防ぐには、抽出されたデータの正確性と検証が重要です。 ○ このため、human-in-the-loop⼿法が必要です。 ○ この⼿法では、精度と信頼性を確保するためにユーザーが結果をレビュー およびチェックすることが含まれます。 © DeNA Co., Ltd. 61

医療症例機能における課題 ‧課題に対する解決策 - さまざまな⼊⼒形式からテキストデータを取得 - ⾃然⾔語処理 (NLP) による臨床データ抽出の⾃動化 ○ ⻑いテキストから関連情報を抽出するのに役⽴ち、ユーザーの作業負荷を ⼤幅に軽減します。 - ⼈間が介在し、精度と患者の安全を確保 ○ 患者への危害を防ぐには、抽出されたデータの正確性と検証が重要です。 ○ このため、human-in-the-loop⼿法が必要です。 ○ この⼿法では、精度と信頼性を確保するためにユーザーが結果をレビュー およびチェックすることが含まれます。 © DeNA Co., Ltd. 62

医療症例機能における課題 ‧課題に対する解決策 - さまざまな⼊⼒形式からテキストデータを取得 - ⾃然⾔語処理 (NLP) による臨床データ抽出の⾃動化 ○ ⻑いテキストから関連情報を抽出するのに役⽴ち、ユーザーの作業負荷を ⼤幅に軽減します。 - ⼈間が介在し、精度と患者の安全を確保 ○ 患者への危害を防ぐには、抽出されたデータの正確性と検証が重要です。 ○ このため、human-in-the-loop⼿法が必要です。 ○ この⼿法では、精度と信頼性を確保するためにユーザーが結果をレビュー およびチェックすることが含まれます。 © DeNA Co., Ltd. 63

医療症例機能における課題 ‧課題に対する解決策 - さまざまな⼊⼒形式からテキストデータを取得 - ⾃然⾔語処理 (NLP) による臨床データ抽出の⾃動化 ○ ⻑いテキストから関連情報を抽出するのに役⽴ち、ユーザーの作業負荷を ⼤幅に軽減します。 - ⼈間が介在し、精度と患者の安全を確保 ○ 患者への危害を防ぐには、抽出されたデータの正確性と検証が重要です。 ○ このため、human-in-the-loop⼿法が必要です。 ○ この⼿法では、精度と信頼性を確保するためにユーザーが結果をレビュー およびチェックすることが含まれます。 © DeNA Co., Ltd. 64

Part 2 ‧AI technologyを⽤いた課題解決 ‧医療タスクにおけるChallenging point ‧CloudベースのAIプラットフォーム ‧LLM (Large Language Model) ‧検証実験 ‧おわりに © DeNA Co., Ltd. 65

AI technologyを⽤いた課題解決 ‧⾳声認識技術を⽤いた医療⾳声のテキスト化 ‧⾮構造データの構造化 ‧AI ×⼈間の”human-in-the-loop”の実現 ‧構造データ蓄積による、データ分析や予測 © DeNA Co., Ltd. 66

AI technologyを⽤いた課題解決 ‧⾳声認識技術を⽤いた医療⾳声のテキスト化 ‧⾮構造データの構造化 ‧AI ×⼈間の”human-in-the-loop”の実現 ‧構造データ蓄積による、データ分析や予測 © DeNA Co., Ltd. 67

AI technologyを⽤いた課題解決 ‧⾳声認識技術を⽤いた医療⾳声のテキスト化 - ⼿が離せない医者がハンズフリーで、 医療情報のテキスト化が可能 気道確保 しました ! データ ⾳声認識 モデル ⽇時 : 2024/02/29 16:00 認識結果: 気道確保しました © DeNA Co., Ltd. 68

AI technologyを⽤いた課題解決 ‧⾳声認識技術を⽤いた医療⾳声のテキスト化 ‧⾮構造データの構造化 ‧AI ×⼈間の”human-in-the-loop”の実現 ‧構造データ蓄積による、データ分析や予測 © DeNA Co., Ltd. 69

AI technologyを⽤いた課題解決 ‧⾮構造化データの構造化 - ⾔語モデルを⽤いた⾮構造化データの構造化 (非構造化データ) (構造化データ) 本日13時頃、 体重60キロ程度の 90歳の男性が自宅で右側に うつ伏せになり、目を覚ますことが できない状態で発見された。 救急隊員はNIHSSスコアを5と 算出したが、 これは入院時も同じであった。 アンギオは完了 NIHSS_score: 5: body_weight: 60 stroke_onset_time: 13時ごろ ・ ・ ・ © DeNA Co., Ltd. LLM 70

AI technologyを⽤いた課題解決 ‧⾳声認識技術を⽤いた医療⾳声のテキスト化 ‧⾮構造データの構造化 ‧AI ×⼈間の”human-in-the-loop”の実現 ‧構造データ蓄積による、データ分析や予測 © DeNA Co., Ltd. 71

AI technologyを⽤いた課題解決 ‧AI ×⼈間の”human-in-the-loop”の実現 - AIの出⼒結果を⼈間が確認し、最終決定とするモデル ⾃動で各項⽬を 埋めてくれてるから、 確認だけでOK !! 楽だなぁ © DeNA Co., Ltd. 72

AI technologyを⽤いた課題解決 ‧⾳声認識技術を⽤いた医療⾳声のテキスト化 ‧⾮構造データの構造化 ‧AI ×⼈間の”human-in-the-loop”の実現 ‧構造データ蓄積による、データ分析や予測 © DeNA Co., Ltd. 73

AI technologyを⽤いた課題解決 ‧構造データ蓄積による、データ分析や予測 - 作成した構築データから分析、予測を⾏う この時間は脳卒中の 患者さんが多いなぁ © DeNA Co., Ltd. 74

医療タスクにおけるChallenging point ‧医療テクニカルワードへの対応 ‧医療個⼈情報を扱うことの難しさ © DeNA Co., Ltd. 75

医療タスクにおけるChallenging point ‧医療テクニカルワードへの対応 ‧医療個⼈情報を扱うことの難しさ © DeNA Co., Ltd. 76

医療タスクにおけるChallenging point ‧医療テクニカルワードへの対応 - 専⾨性の⾼さ 医療分野の専⾨性は⾮常に⾼く、医療タスクを解くためには、 かなりの医療知識が必要 - 継続的な進化 医療分野は絶えず進化しており、LLMの更新が必要 - ⽂脈依存性, 曖昧性 ⼀部の医療⽤語が複数の意味を持つことがあり、 それらの意味が⽂脈によって異なるなどの曖昧性などがある - 医療データセット問題 商⽤利⽤できる医療データセットが少ない © DeNA Co., Ltd. 77

医療タスクにおけるChallenging point ‧医療テクニカルワードへの対応 ‧医療個⼈情報を扱うことの難しさ © DeNA Co., Ltd. 78

医療タスクにおけるChallenging point ‧医療個⼈情報を扱うことの難しさ - 法的規制の遵守 医療個⼈情報の取り扱いには、国によって異なる多くの法律や規制がある。(GDPR, HIPAAなど) これらの法律を遵守することは、データ管理の難しさを⼤きく増加させる。 - セキュリティ問題 データ漏洩や不正アクセスは絶対に許容されないリスクであるため、⾼度なセキュリティ対策の 実施が不可⽋ - © DeNA Co., Ltd. 利⽤可能なLLMの選択肢の制約 医療個⼈情報を扱うための法律に対応したセキュアなプラットフォーム (Bedrock, Azure, VertexAIなど)で利⽤可能なLLMのみ利⽤可能 79

CloudベースのAIプラットフォーム ‧Amazon Bedrock ‧Azure AI ‧Google Cloud Vertex AI © DeNA Co., Ltd. 80

CloudベースのAIプラットフォーム ‧Amazon Bedrock ‧Azure AI ‧Google Cloud Vertex AI © DeNA Co., Ltd. 81

CloudベースのAIプラットフォーム ‧Amazon Bedrock - 使⽤可能な主要LLM Claude, Amazon Titan, Stable Diffusion (画像⽣成) - 全体的なコスト感 (主要モデルのTokyoリージョンのコストを算出, ドル円:150) Claude2.1 : ⼊⼒1000トークンあたり1.2円, 出⼒1000トークンあたり3.6円 単価参照: https://aws.amazon.com/jp/bedrock/pricing/ 2024/2/26時点の情報 - 使⽤可能なリージョン ⽶国東部, ⽶国⻄部, 東京, 欧州, AWS GovCloud (⽶国⻄部) © DeNA Co., Ltd. 強みを1つ Cloudシェアで30%を占め, 市場トップのAWSとの連携が容易に⾏えるのは⼤きな利点 ! 82

• https://aws.amazon.com/jp/bedrock/pricing/

CloudベースのAIプラットフォーム ‧Amazon Bedrock ‧Azure AI ‧Google Cloud Vertex AI © DeNA Co., Ltd. 83

CloudベースのAIプラットフォーム ‧Azure AI - 使⽤可能な主要LLM GPT-4, GPT-3, DALL-E (画像⽣成) - 全体的なコスト感 (主要モデルのTokyoリージョンのコストを算出, ドル円:150) GPT-4 (32K): ⼊⼒1000トークンあたり9.00円, 出⼒1000トークンあたり18.0円 単価参照: https://azure.microsoft.com/ja-jp/pricing/details/cognitive-services/openai-service/ 2024/2/26時点の情報 - 使⽤可能なリージョン 東⽇本, ⻄⽇本含む, 世界中に60箇所以上のリージョン◎ © DeNA Co., Ltd. 強みを1つ Azure OpenAI serviceでOpenAIのモデルが使えるのが強い OpenAIモデルはPrompt engineeringのドキュメントなどが豊富でとっつきやすい 84

• https://azure.microsoft.com/ja-jp/pricing/details/cognitive-services/openai-service/

CloudベースのAIプラットフォーム ‧Amazon Bedrock ‧Azure AI ‧Google Cloud Vertex AI © DeNA Co., Ltd. 85

CloudベースのAIプラットフォーム ‧Google Cloud VertexAI - 使⽤可能な主要LLM PaLM2, MedPaLM2, MedLM, GeminiPro (マルチモーダル) - 全体的なコスト感 (ドル円:150円) PaLM2 (Text Bison) : ⼊⼒1000トークン0.15円, 出⼒1000トークン0.15円 単価参照: https://cloud.google.com/vertex-ai/pricing?hl=ja 2024/2/26時点の情報 - 使⽤可能なリージョン 東⽇本, ⻄⽇本含む, 世界中に33箇所以上のリージョン◎ © DeNA Co., Ltd. 強みを1つ GeminiProが使えるのは強い 医療分野だとMedLMやMedPaLMなど医療LLMが使えるようになる可能性あり 86

• https://cloud.google.com/vertex-ai/pricing?hl=ja

LLM (Large Language Model) ‧Claude2.1 ‧GPT-3.5 turbo ‧GPT-4 ‧PaLM2 © DeNA Co., Ltd. 87

LLM (Large Language Model) ‧Claude2.1 ‧GPT-3.5 turbo ‧GPT-4 ‧PaLM2 © DeNA Co., Ltd. 88

LLM (Large Language Model) ‧Claude2.1 - 概要 Anthropic社によって開発されたLLM (Anthropic社は元OpenAIの社員が⽴ち上げた企業) Amazon Bedrockで、⽐較的低コストで利⽤可能 - 最⼤トークン数 20万 ◎ - 医療ドメインでの精度 Evaluating ChatGPT-3.5 and Claude-2 in Answering and Explaining Conceptual Medical Physiology Multiple-Choice Questions https://assets.cureus.com/uploads/original_article/pdf/189474/20231030-10952-1bk5x4o.pdf →ヒト生理学の概念的な多肢選択問題 55問における正解率がClaude2が73%, GPT3が47%だった © DeNA Co., Ltd. 89

• https://assets.cureus.com/uploads/original_article/pdf/189474/20231030-10952-1bk5x4o.pdf

LLM (Large Language Model) ‧Claude2.1 ‧GPT-3.5 turbo ‧GPT-4 ‧PaLM2 © DeNA Co., Ltd. 90

LLM (Large Language Model) ‧GPT-3.5 turbo - 概要 OpenAI社によって開発されたLLM 無料版ChatGPTに使⽤されている Azure AIで、⽐較的低コストで利⽤可能 - 最⼤トークン数 1万6千 - 医療ドメインでの精度 AI in Medical Education: A Comparative Analysis of GPT-4 and GPT-3.5 on Turkish Medical Specialization Exam Performance https://www.medrxiv.org/content/10.1101/2023.07.12.23292564v1.full.pdf →トルコの専⾨医試験(TUS: Turkish Medical Specialty Examination)1440問で GPT-3.5の正解率が40.17%だった。(GPT-4は70.56%) © DeNA Co., Ltd. 91

• https://www.medrxiv.org/content/10.1101/2023.07.12.23292564v1.full.pdf

LLM (Large Language Model) ‧Claude2.1 ‧GPT-3.5 turbo ‧GPT-4 ‧PaLM2 © DeNA Co., Ltd. 92

LLM (Large Language Model) ‧GPT-4 - 概要 OpenAI社によって開発されたLLM 有料版ChatGPTで使⽤可能なモデル Azure AIで利⽤可能 - 最⼤トークン数 3万2千 (⽇本のリージョンでは使えないが、GPT-4 turboだと12万) - 医療ドメインでの精度 A Comparative Study of Open-Source Large Language Models, GPT-4 and Claude 2: Multiple-Choice Test Taking in Nephrology https://arxiv.org/pdf/2308.04709.pdf → 858問のnephSAPの多肢選択式問題の正解率は、Claude2が54.4%, GPT4が 73.3%。 他のOSSのLLM (Koala 7B, Falcon 7B, Stable-Vicuna 13B, Orca Mini 13B)はそれぞれ、 (23.8%, 18.1%, 25.5%, 17.1%)だった。 © DeNA Co., Ltd. 93

• https://arxiv.org/pdf/2308.04709.pdf

LLM (Large Language Model) ‧Claude2.1 ‧GPT-3.5 turbo ‧GPT-4 ‧PaLM2 © DeNA Co., Ltd. 94

引⽤: Towards Expert-Level Medical Question Answering with Large Language Models LLM (Large Language Model) ‧PaLM2 - 概要 Google社によって開発されたLLM Bardに使⽤されているモデル 100以上の⾔語に対応しており、数学計算やコード⽣成を得意とするモデル - 最⼤トークン数 3万2千トークン - 医療ドメインでの精度 MedPaLM2というPaLMを基盤に 作られた医療LLMが存在する。 (⼀般的に使⽤不可) ⽶国医師国家試験問題MedQAデータセットで 正解率86.5% (医者レベル)を達成 © DeNA Co., Ltd. 95

検証実験 ‧実験概要 ‧評価指標 ‧評価⽤データ ‧評価結果 ‧結果分析 © DeNA Co., Ltd. 96

検証実験 ‧実験概要 ‧評価指標 ‧評価⽤データ ‧評価結果 ‧結果分析 © DeNA Co., Ltd. 97

検証実験 ‧実験概要 脳卒中の医療チャットデータに対して、脳卒中プロトコルを⽤いた固有表現抽出を⾏う © DeNA Co., Ltd. (非構造化データ) (構造化データ) 本日13時頃、 体重60キロ程度の 90歳の男性が自宅で右側に うつ伏せになり、目を覚ますことが できない状態で発見された。 救急隊員はNIHSSスコアを5と 算出したが、 これは入院時も同じであった。 アンギオは完了 NIHSS_score: 5: body_weight: 60 stroke_onset_time: 13時ごろ ・ ・ ・ LLM 98

検証実験 ‧実験概要 少し詳しく‧‧‧ ⼊⼒プロンプト 医療チャットデータ LLM 固有表現結果 (Json形式) 固有表現リスト (今回は脳卒中プロトコル) © DeNA Co., Ltd. 99

検証実験 ‧実験概要 少し詳しく‧‧‧ あなたは優秀な医者です。 チャットテキストから固有表現 リストの値を抽出してください。 ⼊⼒プロンプト 医療チャットデータ LLM 固有表現結果 (Json形式) 固有表現リスト (今回は脳卒中プロトコル) © DeNA Co., Ltd. 100

検証実験 ‧実験概要 少し詳しく‧‧‧ あなたは優秀な医者です。 チャットテキストから固有表現 リストの値を抽出してください。 本日13時頃、 体重60キロ程度の 90歳の男性が自宅で右側に うつ伏せになり、目を覚ますことが できない状態で発見された。 救急隊員はNIHSSスコアを5と 算出したが、 これは入院時も同じであった。 アンギオは完了 LLM 固有表現結果 (Json形式) ⼊⼒プロンプト 医療チャットデータ 固有表現リスト (今回は脳卒中プロトコル) © DeNA Co., Ltd. 101

検証実験 ‧実験概要 使⽤した脳卒中プロトコル (11種類のフィールド) © DeNA Co., Ltd. NIHSS_score 患者のNIHSS (National Institutes of Health Stroke Scale)スコア body_weight 患者の体重 stroke_onset_time 患者の脳卒中の発症予測時間 tpa_medication_status tPA薬剤投与の有無（none:不明、0: 未完了、1: 完了） arrival_hospital_time 患者の病院到着時間 start_CT_MRI CT/MRIの開始の時間 end_CT_MRI CT/MRIの終了の時間 angiography_procedure_status アンギオ処理が完了したか否か（none:不明、0: 未完了、1: 完了） vascular_puncture_status 血管穿刺が完了したか否か（none:不明、0: 未完了、1: 完了） first_pass_thrombectomy_status 機械的血栓除去（First Pass Thrombectomy）が完了したか否か （none:不明、0: 未完了、1: 完了） vascular_reperfusion_status 脳内血管の再開通状態（none:不明、0: 未完了、1: 完了） 102

検証実験 ‧評価指標 本実験では、3種類のAccuracyを⽤いて評価する - Accuracy - Accuracy | 推論値 != None - Accuracy | 正解値 != None © DeNA Co., Ltd. 103

検証実験 ‧評価指標 ‧Accuracy 例) 本日13時頃、 体重60キロ程度の 90歳の男性が自宅で右側に うつ伏せになり、目を覚ますことが できない状態で発見された。 救急隊員はNIHSSスコアを5と 算出したが、 これは入院時も同じであった。 アンギオは完了 Accuracy = 9/11 = 82% © DeNA Co., Ltd. LLM NIHSS_score: 5: ⭕ body_weight: 60 ⭕ stroke_onset_time: 13時ごろ ⭕ tpa_medication_status: none ⭕ arrival_hospital_time: none ⭕ start_CT_MRI: none ⭕ end_CT_MRI: none ⭕ angiography_procedure_status: 1 ⭕ vascular_puncture_status: none ⭕ first_pass_thrombectomy_status: 0 ❌ vascular_reperfusion_status: 0 ❌ 104

検証実験 ‧評価指標 ‧Accuracy | 推論値 != None 例) 本日13時頃、 体重60キロ程度の 90歳の男性が自宅で右側に うつ伏せになり、目を覚ますことが できない状態で発見された。 救急隊員はNIHSSスコアを5と 算出したが、 これは入院時も同じであった。 アンギオは完了 LLM NIHSS_score: 5: ⭕ body_weight: 60 ⭕ stroke_onset_time: 13時ごろ ⭕ tpa_medication_status: none arrival_hospital_time: none start_CT_MRI: none end_CT_MRI: none angiography_procedure_status: 1 ⭕ vascular_puncture_status: none first_pass_thrombectomy_status: 0 ❌ vascular_reperfusion_status: 0 ❌ (Accuracy| 推論値 ! = None ) = 4/6 = 67% → モデルが何か値を出⼒した時の正解率 モデルの予測信頼度的な値 (今回のタスクの最重要指標) © DeNA Co., Ltd. 105

検証実験 ‧評価指標 ‧Accuracy | 正解値 != None 例) 本日13時頃、 体重60キロ程度の 90歳の男性が自宅で右側に うつ伏せになり、目を覚ますことが できない状態で発見された。 救急隊員はNIHSSスコアを5と 算出したが、 これは入院時も同じであった。 アンギオは完了 LLM NIHSS_score: 5: ⭕ body_weight: 60 ⭕ stroke_onset_time: 13時ごろ ⭕ tpa_medication_status: none arrival_hospital_time: none start_CT_MRI: none end_CT_MRI: none angiography_procedure_status: 1 ⭕ vascular_puncture_status: none first_pass_thrombectomy_status: 0 vascular_reperfusion_status: 0 (Accuracy| 正解値 ! = None ) = 4/4 = 100% → 正解値がNone以外値のうち、どれだけモデルが正しく認識できたか モデルがいかに正解を拾えるかの指標 © DeNA Co., Ltd. 106

検証実験 ‧評価⽤データ - スペイン語の患者擬似データ データ数は30個 脳卒中のデータのみ Chat形式の⾮構造化データ形式 一部抜粋し、日本語訳したもの 54歳の男性。DM2の既往歴があり、インスリン治療を受けています。 家族に連れられて16.30に来院しました。 LKWTは、2023/02/25の15:00です。 左顔面麻痺と左半身麻痺でした。 NIHSSは15。 血糖値は125、血圧は132/104。 17:05にCT検査を受け、ASPECTは10、出血も近位閉塞も見られませんでした。 血栓除去術の適応はないが、血栓溶解療法の適応はあります。 ボーラス投与開始時間は17:45。 投与量は体重75kgとして計算します。 © DeNA Co., Ltd. 107

検証実験 ‧評価⽤データ - スペイン語の患者擬似データ データ数は30個 脳卒中のデータのみ Chat形式の⾮構造化データ形式 実際はこんな感じ Hombre de 54 años de edad con antecedentes de DM2 con manejo con insulina, llega a nuestro hospital a las 16:30 horas traído por familiar. Última vez visto bien hoy 25/02/2023 a las 15:00 hrs con paresia facial izquierda y plejia del hemicuerpo izquierdo. NIHSS de 15 puntos. Glucosa de 125 y PA de 132/104. Ingresa a CT a las 17:05 hrs mostrando ASPECT de 10, sin sangrado y sin obstrucción proximal. Sin indicación de trombectomía pero sí de trombolisis. Hora inicio del bolo 17:45. Se calcula dosis para peso de 75 kg. © DeNA Co., Ltd. 108

検証実験 “None”が占める割合が⾼い ⼀般的なAccuracyで評価するのは妥当ではない ‧評価⽤データ 正解データの例 ID NIHSS_ body_ score weight arrival_ angiography_ vascular_ first_pass_ stroke_ tpa_ hospital_ start_ end_ procedure_ puncture_ thrombectomy_ onset_time medicatio_status time CT_MRI CT_MRI status status status 1 15 75 15:00 1 16:30 17:05 None None 0 0 0 2 None 85 8:30 1 10:15 10:50 11:15 None None None None 3 18 75 None None None None None 1 1 1 1 4 None None 15:11 1 None None None 1 1 1 1 5 20 None 21:30 1 22:15 None None None None None None © DeNA Co., Ltd. vascular_ reperfusion_ status 109

検証実験 ‧評価結果 © DeNA Co., Ltd. 110

検証実験 ‧評価結果 © DeNA Co., Ltd. ‧モデルはNone以外の値を出⼒した時, 95%の割合で正解 ‧None以外の値が⼊るべき項⽬を54.6%埋めることができる 111

検証実験 ‧結果分析 Claude2の結果分析 脳卒中プロトコルの要素: 11 データ数: 30 →全部で330個を固有表現抽出を⾏っている ‧正解 : 248 ‧ミス : 82 推論値!=Noneの数: 100 ‧正解: 95 ‧ミス: 5 正解値 != Noneの数: 174 ‧正解 : 95 ‧ミス: 79 © DeNA Co., Ltd. 112

検証実験 ‧結果分析 どのフィールドの値を取りこぼしているかの確認 →アンギオ処理, 血管穿刺など医療措置をうまく取れていない。 (このあたりは明示的に文章に書かれていなく、深い医療知識が必要 ) Claude2の結果分析 © DeNA Co., Ltd. 113

おわりに ‧医療タスクの難しさ - 医療テクニカルワードへの対応 医療個⼈情報を扱うことの難しさ ‧AIプラットフォームとLLM - それぞれ特徴があるので、タスクに応じて使い分けできるとよい (コストやリージョン, LLMの得意不得意) ‧脳卒中チャットデータに対する固有表現抽出実験 - 様々なLLMの⽐較実験を⾏った - モデルが何か値を出⼒した時の正解率95%を達成 ASK The Speakerでは、Fernandoさんへの質問も⽇本語で受けつけます。 © DeNA Co., Ltd. 114

おわりに ‧医療タスクの難しさ - 医療テクニカルワードへの対応 医療個⼈情報を扱うことの難しさ ‧AIプラットフォームとLLM - それぞれ特徴があるので、タスクに応じて使い分けできるとよい (コストやリージョン, LLMの得意不得意) ‧脳卒中チャットデータに対する固有表現抽出実験 - 様々なLLMの⽐較実験を⾏った - モデルが何か値を出⼒した時の正解率95%を達成 ASK The Speakerでは、Fernandoさんへの質問も⽇本語で受けつけます。 © DeNA Co., Ltd. 115

© DeNA Co., Ltd. 116