20230518_苦労を重ねて実装して実装したのに一掃されたこと

348 Views

May 18, 23

aws

スライド概要

profile-image

Oita(1988.03) → Tokyo(2010.04) → Fukuoka(2021.11)

シェア

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

苦労を「重ねて」 実装したのに 一掃された 2023年5月18日 レイヤード Meetup LT会 vol.1

2.

楽しんでますか??

3.

今日の大まかな流れ 1. 2. 3. 4. 5. 6. 自己紹介 流行りもの 実現したいこと 実際にやってみたこと 衝撃を受けたこと まとめ

4.

自己紹介 柴尾 哲也(しばお てつや) 大分(22年) → 東京(11年) → 福岡(2021.11~)→ 佐賀(2023.9予定?) ● ● JAWS-UG (Japan AWS - User Group ) ○ 佐賀支部 - 運営 ○ 福岡支部 - 運営支援 ○ 大分支部 - 福岡出張所 AWS Startup Community ○ ● 福岡運営 Microsoft Startup Tech Community New!! ○ https://astro.midnight480.com/ 運営 ほかにもJagu'e'r 九州分科会(GoogleとNDAが必要)に参加したり、 Fusicさんやヌーラボさんのイベント、エンジニアカフェに出没します midnight480 midnight480 midnight480

5.

流行りもの みなさん、生成AI周りの最新を追えていますか?

6.

社内の状況としては ● ● OpenAI ○ ChatGPT Plus を全社員 ○ Platform 側のOrgにMember招待 ■ Opt Out申請 ■ GPT-4 API 申請 ■ Plugin申請 Azure OpenAI Service ○ AzureAD側整備(セキュリティグループ) ■ ○ ● 国内外の社内利用者 GPT-4申請、DALL・E申請、Codex申請 GitHub Copilot ○ 手続きまとめ User 管理の悩ましい Owner と Readerの2つしかないし 運用している人いたら話しましょう

7.

実現したいこと Input Output

8.

実現したいこと ● Input ● Notion API ○ ブロック単位で取得 ○ 本文を取得 ○ CSVで保存(結果の確認用にブロック IDなど) OpenAI(Azure OpenAIでもいい) ○ Embeddings それらをPythonで実装

9.

実際にやってみたこと ● Notionのデータの持ち方が厄介 ○ すべてのオブジェクトをブロックとして保持 ■ jq -c 'path(..)' or jq-searchkey を使って深さを確認

10.

実際にやってみたこと ● Azure でやってみる ○ Azure App Service + Blob Storage ■ ○ Azure Function + Blob Storage Service ■ ● デプロイできず断念 デプロイまでは出来たが、 Blob Storageに出力されず断念 AWS でやることにする ○ AWS Lambda + S3 ■ AWS CDK v2のLambdaのデプロイ手間で断念 ■ Serverless Frameworkでデプロイして S3にCSV出力できた

11.

実現したいこと ● OpenAI(Azure OpenAIでもいい) ○ Embeddings ■ Azure公式Docsに従えば実現できた( Google Colab上) ● text-embedding-ada-002 はダメで(環境要因?) ● text-search-curie-doc-001 だとできた https://learn.microsoft.com/ja-jp/azure/cognitive-services/openai/tutorials/embeddings

12.

実現したいこと Input Output

13.

Notionから出力するところを改善したい 「LangChainとかLlamaIndexとか使ってみると楽になるんじゃない?」

14.

LlamaIndexでやってみる Notion のコネクタと学習部分を作ってみる 簡単にするなら、これで全部 前処理が「\n\n」除去だけなので注意

16.

まとめ ● Azure Functionのデプロイは簡単だった ○ func new –name ${DIrectory} –template “Timer trigger” ■ ● AWS CDK でLambda(Pythonと追加モジュール)は少し手間で断念 ○ ● https://aws.amazon.com/jp/blogs/news/lambda-managed-by-cdk/ Serverless FrameworkではDockerあれば簡単 ○ ● AWSで言えば、AWS Lambda + Evnetbridge Rulesをひと纏め Build時にrequirements.txtを見てAssetを作成する過程で Docker内で処理する LangChainやLlamaIndexといったライブラリは初心者にとって有益 ○ 有識者からすると前処理が不足していると感じることもある ○ 開発が盛んなので破壊的変更、 β版メソッドが使えなくなることもある

17.

LlamaIndexで参考にしたものの 2023.03.23 https://dev.classmethod.jp/articles/llamaindex_with_notion-loader/ https://github.com/jerryjliu/llama_index/issues/3263

18.

宣伝 2023/05/24(水) 19:00 〜 21:00 2023/10/7(土) https://jawsug-saga.doorkeeper.jp/events/155541 2023/06/17(土) 13:00 〜 17:00 JAWS Festa 2023 in Kyushu https://jft2023.jaws-ug.jp/ https://jawsug-saga.doorkeeper.jp/events/155542 8/19(土)にもクラウド女子会・佐賀・長崎合同で予定 全国からAWSエンジニアが福岡に来ます

19.

Thank you for your time 😊

20.

Thank you for Bing Image Creator 😊