20230518_苦労を重ねて実装して実装したのに一掃されたこと
3.5K Views
May 18, 23
スライド概要
Oita(1988.03) → Tokyo(2010.04) → Fukuoka(2021.11)
関連スライド
各ページのテキスト
苦労を「重ねて」 実装したのに 一掃された 2023年5月18日 レイヤード Meetup LT会 vol.1
楽しんでますか？？
今日の大まかな流れ 1. 2. 3. 4. 5. 6. 自己紹介 流行りもの 実現したいこと 実際にやってみたこと 衝撃を受けたこと まとめ
自己紹介 柴尾 哲也（しばお てつや） 大分（22年） → 東京（11年） → 福岡（2021.11～）→ 佐賀（2023.9予定？） ● ● JAWS-UG （Japan AWS - User Group ） ○ 佐賀支部 - 運営 ○ 福岡支部 - 運営支援 ○ 大分支部 - 福岡出張所 AWS Startup Community ○ ● 福岡運営 Microsoft Startup Tech Community New!! ○ https://astro.midnight480.com/ 運営 ほかにもJagu'e'r 九州分科会（GoogleとNDAが必要）に参加したり、 Fusicさんやヌーラボさんのイベント、エンジニアカフェに出没します midnight480 midnight480 midnight480
流行りもの みなさん、生成AI周りの最新を追えていますか？
社内の状況としては ● ● OpenAI ○ ChatGPT Plus を全社員 ○ Platform 側のOrgにMember招待 ■ Opt Out申請 ■ GPT-4 API 申請 ■ Plugin申請 Azure OpenAI Service ○ AzureAD側整備（セキュリティグループ） ■ ○ ● 国内外の社内利用者 GPT-4申請、DALL・E申請、Codex申請 GitHub Copilot ○ 手続きまとめ User 管理の悩ましい Owner と Readerの２つしかないし 運用している人いたら話しましょう
実現したいこと Input Output
実現したいこと ● Input ● Notion API ○ ブロック単位で取得 ○ 本文を取得 ○ CSVで保存（結果の確認用にブロック IDなど） OpenAI（Azure OpenAIでもいい） ○ Embeddings それらをPythonで実装
実際にやってみたこと ● Notionのデータの持ち方が厄介 ○ すべてのオブジェクトをブロックとして保持 ■ jq -c 'path(..)' or jq-searchkey を使って深さを確認
実際にやってみたこと ● Azure でやってみる ○ Azure App Service + Blob Storage ■ ○ Azure Function + Blob Storage Service ■ ● デプロイできず断念 デプロイまでは出来たが、 Blob Storageに出力されず断念 AWS でやることにする ○ AWS Lambda + S3 ■ AWS CDK v2のLambdaのデプロイ手間で断念 ■ Serverless Frameworkでデプロイして S3にCSV出力できた
実現したいこと ● OpenAI（Azure OpenAIでもいい） ○ Embeddings ■ Azure公式Docsに従えば実現できた（ Google Colab上） ● text-embedding-ada-002 はダメで（環境要因？） ● text-search-curie-doc-001 だとできた https://learn.microsoft.com/ja-jp/azure/cognitive-services/openai/tutorials/embeddings
実現したいこと Input Output
Notionから出力するところを改善したい 「LangChainとかLlamaIndexとか使ってみると楽になるんじゃない？」
LlamaIndexでやってみる Notion のコネクタと学習部分を作ってみる 簡単にするなら、これで全部 前処理が「\n\n」除去だけなので注意
まとめ ● Azure Functionのデプロイは簡単だった ○ func new –name ${DIrectory} –template “Timer trigger” ■ ● AWS CDK でLambda（Pythonと追加モジュール）は少し手間で断念 ○ ● https://aws.amazon.com/jp/blogs/news/lambda-managed-by-cdk/ Serverless FrameworkではDockerあれば簡単 ○ ● AWSで言えば、AWS Lambda + Evnetbridge Rulesをひと纏め Build時にrequirements.txtを見てAssetを作成する過程で Docker内で処理する LangChainやLlamaIndexといったライブラリは初心者にとって有益 ○ 有識者からすると前処理が不足していると感じることもある ○ 開発が盛んなので破壊的変更、 β版メソッドが使えなくなることもある
LlamaIndexで参考にしたものの 2023.03.23 https://dev.classmethod.jp/articles/llamaindex_with_notion-loader/ https://github.com/jerryjliu/llama_index/issues/3263
宣伝 2023/05/24(水) 19:00 〜 21:00 2023/10/7(土) https://jawsug-saga.doorkeeper.jp/events/155541 2023/06/17(土) 13:00 〜 17:00 JAWS Festa 2023 in Kyushu https://jft2023.jaws-ug.jp/ https://jawsug-saga.doorkeeper.jp/events/155542 8/19（土）にもクラウド女子会・佐賀・長崎合同で予定 全国からAWSエンジニアが福岡に来ます
Thank you for your time 😊
Thank you for Bing Image Creator 😊