DifyではじめるRAG

Dify ではじめる RAG アステリア株式会社 エバンジェリスト 生成AI協会（GAIS） エバンジェリスト 森 一弥 2024年5月30日 © 2024 Asteria Corporation

RAG：Retrieval Augmented Generation（検索拡張生成)とは ◼ LLMに外部の追加情報を付与した上で文章等を生成する手法 ◼ ネット検索結果を踏まえるものなども広義な意味ではRAG ◼ 特に技術者界隈でRAGといえばVectorStoreを活用した仕組み on-premises / private cloud cloud Framework LLM User 自社 データ VectorStore Embedding © 2024 Asteria Corporation

かんたんなRAGのしくみ ① DB（VectorStore）の準備 読込 ＆ 分割 Documents 保存 ベクター化 Chunk Data List Vector Data VectorStore © 2024 Asteria Corporation

かんたんなRAGのしくみ ② 類似検索と生成実行 合成 実行 Question Prompt Answer VectorStore © 2024 Asteria Corporation

RAGを使う理由 自社データは 自社管理下に ◼ 全データを外部に 流さなくて良い ◼ VectorStore 自体を 複数用意しても良い ベンダー ロックインしない 最新技術への追従 ◼ LLM や VectorStore、 設置する環境など特定の ベンダーに依存しない ◼ AIモデルに革新的な性能 向上があった場合など、 該当箇所のみ変更できる © 2024 Asteria Corporation

Difyとは ◼ 画面操作で生成AIの アプリを作れる プラットフォーム ◼ オープンソース ◼ クラウド版、オンプレ版 共に提供 ◼ VectorStoreも内部で連携 している 出典：https://dify.ai/jp © 2024 Asteria Corporation

• https://dify.ai/jp

環境の準備 Cloud 版 Docker 版 ソースからデプロイ ◼ 「https://cloud.dify.ai/」に アクセスするのみ ◼ ログインは Google か GitHubのアカウントで ◼ コマンドを数回実行 ◼ AWS、GCP、Azure等で自 社用の環境を用意する事も ◼ HTTPSアクセスしたいなら 多少の工夫が必要 ◼ Python、NodeJS、 PostgreSQL等準備が必要 © 2024 Asteria Corporation

• https://cloud.dify.ai/

AWSに作ってみた ◼ EC2 ◆C5Large（2CPU ） ◆Amazon Linux 2023 ◆SSD 20G ◆スポットインスタンス でコスト節約 ◆セキュリティグループ で SSH、HTTP、 HTTPSのポートを開け ておく ◼ ロードバランサー ◆HTTPSアクセスのため 設置 ◼ SSL証明書 ◆発行してロードバラン サーに割り当て © 2024 Asteria Corporation

EC2でのDocker インストール ◼ SSHでログインしてDocker と Compose インストール ◆ Docker をインストール sudo yum update -y sudo yum install -y docker sudo systemctl start docker sudo systemctl enable docker sudo usermod -a -G docker ec2-user MacのPowerPointだとバックスラッシュが 出ませんでした・・・ ◆ Docker Compose をインストール sudo mkdir -p /usr/local/lib/docker/cli-plugins sudo curl -SL https://github.com/docker/compose/releases/download/v2.7.0/docker-compose-linux-x86_64\ -o /usr/local/lib/docker/cli-plugins/docker-compose sudo chmod +x /usr/local/lib/docker/cli-plugins/docker-compose © 2024 Asteria Corporation

Difyの取得と起動 ◼ git のインストールと dify 取得、起動 sudo yum install -y git git clone https://github.com/langgenius/dify.git cd dify/docker sudo docker compose up -d ◼ ブラウザで初期設定、アクセス © 2024 Asteria Corporation

APIの用意 ◼ LLMのAPIが必要 ◆ OpenAIのAPI（ChatGPTの有料ライセンスとは別） ◆ Google Gemini ◆ その他 ◆ APIが対応しているものであればローカルに構築したものもOK ◼ 連携したい各種ツールのAPIキーなど ◆ 用意されているツール – APIキーを設定 ◆ カスタムツール – OpenAPI（Swagger）形式の仕様書 （JSONorYAML）を設定 ◆ REST形式なら個別に入力も可能 © 2024 Asteria Corporation

APIキーをセット © 2024 Asteria Corporation

システムモデルをセット © 2024 Asteria Corporation

メンバーを追加 実際にメールを送付するには Dockerの設定情報を 入れておく必要があります © 2024 Asteria Corporation

ナレッジを追加 初期のファイルサイズ上限は15Mまで 変更はDockerの設定ファイル等で可能 © 2024 Asteria Corporation

ナレッジを追加 © 2024 Asteria Corporation

ナレッジ確認 © 2024 Asteria Corporation

スタジオから「フロー」を新規作成 © 2024 Asteria Corporation

基本形が出来上がる © 2024 Asteria Corporation

ナレッジをLLMの前に入れ込む © 2024 Asteria Corporation

ナレッジを設定 © 2024 Asteria Corporation

LLMのSYSTEMプロンプトに ナレッジ情報を埋め込み © 2024 Asteria Corporation

デバックとプレビュー © 2024 Asteria Corporation

公開 © 2024 Asteria Corporation

いろいろできます © 2024 Asteria Corporation

まとめ © 2024 Asteria © 2024 Corporation Asteria Corporation

まとめ 自社データなら RAG環境 on-premises / private cloud 技術革新にも 追従できる ノーコードツール Dify が便利 cloud Framework LLM User ⾃社 データ VectorStore Embedding まずは簡単なデータで試してみてはいかがでしょうか？ © 2024 Asteria Corporation

個別のご相談も承ります 社内向けのセミナー 自社データ活用のアドバイス メール等でご連絡ください kmori@asteria.com © 2024 Asteria Corporation 28

事例：大手会計ソフトベンダー 開発メンバーへのアドバイスを行う「アドバイザリー契約」 社内向けセミナー ◼ 入門・基本セミナー ◼ RAG環境をレクチャー ◼ サンプルプログラムの 提供（LangChain） 社内情報の活用 環境の構築支援 ◼ 社内文書のベクター データ化支援 ◼ VectorStore選定協力 ◼ 活用プログラム構築支援 毎週の勉強会支援 報告書・発表資料 作成支援 ◼ 作成中プログラムや 環境へのアドバイス ◼ 話題の新技術に関する 情報提供 ◼ 報告書の原案作成 ◼ 発表会資料の原案作成 ◼ プレゼン方法に関する アドバイス → 具体的なアイデアの創出や若いメンバーのモチベーション向上に貢献 AI（大規模言語モデル）による自社データ活用について 詳細はアステリアまでお問い合わせください © 2024 Asteria Corporation