AWSで実現するLLMワークフロー → AWSでLLMアプリをつくろう
4.9K Views
July 25, 23
スライド概要
2023.07.24 JAWS-UG東京で話した資料です。
吉田真吾
関連スライド
各ページのテキスト
AWSで実現する LLMワークフロー(仮) 2023.7.24 JAWS-UG / @yoshidashingo
吉田真吾 AWS Serverless Hero n p p 113 p AWS / SA Oracle n ( ) p ( ) p AWS n AWS AWS Lambda Amazon S3 BRAv6 p AWS CTO SaaS DevOps (2012 ) p AWS Samurai 2014 / 2016 p AWS Serverless Hero
https://tokyo.serverlessdays.io/ ↓ “Get Tickets” ↓ 𝕏 “ServerlessDays Tokyo 2023 に参加を申し込みました！”
RAG(検索拡張生成)アプリ 「CYDAS PEOPLE」に、社員からの問い合わせに自動で答えるChatGPT機能「CYDAS PEOPLE Copilot Chat」 https://www.cydas.co.jp/news/press/202304_people-gpt/
世は大LLM時代 AIの民主化 = アプリ開発者がLLMアプリをユーザーに届けやすい時代 もっと小難しいもんかと思ってたよ
タスク ❌ → 業務 ⭕ = ワークフロー 複数のタスクをプログラミングによる制御と、LLMによる制御をつないで 実現する
学んだこと 1. RAGは実装しやすい→[UX観点]従来の検索UI(LLMsなし)で解決できる？ 2. 埋め込み表現(Embeddings)取得してベクター類似検索するより、エンタープ ライズ検索のほうがたいてい、すべてにおいて良い 3. LLMの能力を活かすワークフローが重要 1. 2. 出力が確定的なプログラミングと、非確定的なLLMの組み合わせ 複数のタスクをチェインしていく🦜🔗 4. 🦜🔗はアイデア＋実装の宝庫 1. 2. ReAct → langchain.agents HyDE → 質問の答えをLLMが妄想して、その答えに類似した知識を検索 from langchain.chains import HypotheticalDocumentEmbedder 5. LLMOps MLOps 1. 2. 3. 入力の変化 / 出力の変化に気づきづらい 気づいたとてできることが限られる = APIやモデルの差し替え、プロンプトの調整(＋ バージョン管理) レスポンスタイムなどは取得しておくべきだろう ex) LangSmith
Amazon Kendra + 🦜🔗 ⾼精度な⽣成系 AI アプリケーションを Amazon Kendra、LangChain、⼤規模⾔語モデルを使って作る https://aws.amazon.com/jp/blogs/news/quickly-build-high-accuracy-generative-ai-applications-on-enterprisedata-using-amazon-kendra-langchain-and-large-language-models/
🦜🔗 学ぶなら Udemy - LangChainによる大規模言語モデル（LLM）アプリ ケーション開発入門―GPTを使ったチャットボットの実装まで https://www.udemy.com/course/langchain-apps/
🦜🔗 学ぶなら もくもくLangChain https://langchain-jp.connpass.com/event/289590/
セキュリティとプライバシー 本番環境利用に向けて
AWSのクラウドセキュリティ/データ保護 • 事実 • AWSはセキュリティに莫大な投資：複数のサービス、複数のコンプラ イアンス準拠 • クラウドをクラウドたらしめてるもの = AIによるコントロール • 予測 • [1/5] セキュリティは組織のあらゆる活動に不可欠になる • [3/5] AI/機械学習で促進されたオートメーションがセキュリティを強 化する • Amazon GuardDuty、Amazon Detective、Amazon CodeGuru、Amazon Macie… • [4/5]データ保護へのより大きな投資が進む • GDPR同様の規制の世界各国への広がり・実運用の強化 CJ Moses による 2023 年以降の セキュリティに 関する予測 https://d1.awsstatic.com/Security/Security_Predictions_e-book_2022_JP.pdf
OWASP Top10 LLMアプリ[draft] 1. プロンプトインジェクション 6. • LLMが意図しない動作を引き起こすプロンプトの 上書き 2. 安全でない出力処理 • 応答で機密データを漏洩する可能性→不正アクセス、 プライバシー侵害、セキュリティ侵害 7. • バックエンドシステムの情報が出力されることに よる悪用 3. トレーニングデータの汚染 8. 5. サプライチェーンの脆弱性 • プラグインや3rdパーティのコンポーネントから の侵害 エージェントの暴走 • 自律的なエージェントが意図しない結果をもたらす アクションを実行する可能性 モデルへのDoS • 大量のトークン消費、レスポンス悪化、コスト高 騰 安全でないプラグイン設計 (※5と類似?) • プラグインから安全でない入力により脆弱性が悪用 される • セキュリティ、有効性、倫理的ふるまいへの影響 4. 機密データの漏洩 9. 過度な依存 • 不正確・不適切な生成コンテンツに依存してデマ、 法的問題、セキュリティ脆弱性に直面する 10. モデル泥棒 • 独自モデルへの不正アクセス、流出→経済損失、競 争優位性低下 (※蒸留ファインチューニングもグレーかも) OWASP Top 10 for Large Language Model Applications https://owasp.org/www-project-top-10-for-large-language-model-applications/
個人データ保護法制：チェックすべき論点 • 何を保護するのか→「個人の権利利益」 • 個人データ保護の「決定指向」利益モデル • 自己情報コントロール権ではなく、情報的他律からの自由 • われわれに何が求められうるのか • 自己情報コントロール権=財産権的モデルの本人同意原則(オプトイン/オプトアウト)→なにが 個人情報でなにが個人情報でないという議論になる • 情報的他律=個人データ処理に基づく他者による評価・決定が本人の自己決定を阻害しうるこ と→からの自由(防御できること) • たとえば • 古い属性情報、あいまいな属性情報で職場での評価が決められた ※そもそもOECD原則(データ品質の原則)にも反しているが。 • 関連性のない情報で不利なクレジットスコアが決定された → これらをシステムでモニタリングする不断の努力が求められうる • 理論的基礎から法体系への整理 • 統制された非選別利用→医療仮名加工情報：統計量に集計したデータ、または二次利用 • 個人データ処理中心の規律→処理対象としないデータのマスキング、オプトイン処理の負担 • 評価・決定の適切性確保→選別アルゴリズム(適性で選別した教育プログラム、OK？) 【提⾔書公表】デジタル社会を駆動する『個⼈データ保護法制』に向けて（GLOCOM六本⽊会議） https://www.glocom.ac.jp/news/news/8540
🦜🔗 Experimental パッケージ分割 • ビッグニュース • CVE(脆弱性)を含む機能をすべて別パッケージ(Experimental)に • 🦜🔗コアのスリム化 • Communityチェインというパッケージの計画にも言及 • 意味すること • 本番では使えない → 使いうる • この1年弱、無制限に拡張される一方だったのでLambda Layerにい つか乗らなくなる → 一定の交通整理がされるようになる • 論文の実装や野心的なアイデアの実装がよりPR出しやすくなる • AWS Lambdaでの利用 • 現在のサイズ：依存ライブラリ含めた展開後サイズで130MB程度 • スピンアップにはおおむね5秒程度はかかる→Slackから使う場合は Lazyリスナーやリトライヘッダのチェックなど複数の対策が必要
https://tokyo.serverlessdays.io/ ↓ “Get Tickets” ↓ 𝕏 “ServerlessDays Tokyo 2023 に参加を申し込みました！”
DAYS史上最高のラインナップ • 豪華セッション • キーノート：AWS • (1)サーバーレス10年の成熟 • (2)サーバーサイド主体からエッジ/フロントへの開発ライフサイクル の変化 • (3)生成AIとサーバーレス • 豪華スポンサー • • • • • • AWS Momento PingCAP (TiDB) Microsoft KDDIアジャイル開発センター Serverless Operations