--- title: 【Paper&Hacks Vol.80】RAGを測るモノサシを作ろう 〜 Ragas × LangSmithでRAG評価アプリ開発 〜 tags: author: [松尾研LLMコミュニティ](https://www.docswell.com/user/matsuo-lab_llm) site: [Docswell](https://www.docswell.com/) thumbnail: https://bcdn.docswell.com/page/YE6W18QLEV.jpg?width=480 description: 本イベントは、原則毎週火曜日20:00から松尾・岩澤研究室 LLMコミュニティが主催するLLMに関する輪読会 & 実装のオンラインイベントです。 【アーカイブはこちら】 https://youtu.be/3sTikmOXW5w?si=8pZ3nK9mk-vc_0OY 【イベント概要】 対象: 普段から論文を読んでいる/普段からLLMの実装を行なっている方々 レベル: ★★★★☆　(Expert) 発表者: 井伊篤彦（異業種データサイエンス研究会®︎代表） タイトル: 『RAGを測るモノサシを作ろう 〜 Ragas × LangSmithでRAG評価アプリ開発 〜』 発表カテゴリ: やや実践寄り（ハンズオンやコード解説が多め） イベント内容：実用劇なRAGを開発には継続的な改善が必要で、そのための的確な「モノサシ」は欠かせません。本セミナーでは、RAGのモノサシとなる自動評価アプリをハンズオン形式で動かしていただきます。 扱う論文：ハンズオンのためなし 【松尾研LLMコミュニティについて】 松尾研LLMコミュニティは、「大規模言語モデルについて知って学べるオンライン空間」として、東京大学松尾・岩澤研究室が運営するコミュニティです。現在、学生を中心とした16,000名以上が、原則無償で参加しています。 ※ 現在、松尾研LLMコミュニティへの新規参加申込み受付を停止しております。 ーーー 【松尾研大規模言語モデル講座開講のお知らせ】 昨年大好評だった松尾研大規模言語モデル講座を今年も完全オンラインにて開講いたします！ 今年は内容をグレードアップし、大規模言語モデル1,2,3の3段階構成でお送りすることになりました。 生成AIの基盤技術である大規模言語モデル（LLM）の原理からアーキテクチャーまで取り扱う実践的な講義となっております。座学のみならず演習を通して、手を動かしながら技術を深く理解し、幅広いトピックを網羅します。 詳細は以下のURLからご覧ください！ 大規模言語モデル1：https://x.gd/Dy8yg ※事前に受講申込が必須 ※参加対象者やその他条件がございますので、必ずHPをご確認下さい。 published: August 04, 26 canonical: https://www.docswell.com/s/matsuo-lab_llm/KWRGP8-Paper&HacksVol.80 --- # Page. 1 ![Page Image](https://bcdn.docswell.com/page/YE6W18QLEV.jpg) # Page. 2 ![Page Image](https://bcdn.docswell.com/page/GE5M49RME4.jpg) （５回シリーズ）RAGの仕組みを理解して改善し続けよう 〜 LangChain Family × GradioによるRAGアプリ開発 〜 第２回：RAGを測るモノサシを作ろう 〜 Ragas × LangSmithでRAG評価アプリ開発 〜 2026/4/21異業種データサイエンス研 究会 ® 代表井伊 篤彦 # Page. 3 ![Page Image](https://bcdn.docswell.com/page/9729V2DRJR.jpg) 井伊篤彦 Who am I? 1963年（昭 38年）生まれ。京都大学工学部修士課程（合成化学専攻）終了。大学 和 院で量子化学を副専攻。 前職は一部上場大手日用品製造メーカー研究所。社内で各種製品開発を行うかた わらコンピューターケミストリーを手掛け、化学分子 3D表示ソフト等をC言語を用い て開発。 その後、海外駐在やグローバルな商品開発マネージャーを経て、2017年からAI及 びxR (VR, AR, MR) を用いた新規プロジェクトをゼロから立ち上げ率いた。AIプロ ジェクトでは、自ら機械学習モデルを開発した。 2019年に FBコミュニティ「異業種データサイエンス研究会 16個のFBコミュニティ を運営してい ®」を立ち上げる。現在 る。 プログラミングスクールで AIプログラミングの指導 をする傍ら、 年間数十回のデータサイエンス・ AI関連の セミナーを実施 している。 # Page. 4 ![Page Image](https://bcdn.docswell.com/page/DJY43Y257M.jpg) ハンズオン用コード（ zipファイル） https://drive.google.com/file/d/1S9PUlDdJuMEhP75_IkfiAicpyYD9lPIS/view?usp=drive_link ※ 本ハンズオンは、事前準備を完了していることを前提に進行します。 コード実行用のキー取得、Google Colab の基本操作、Google Drive のマウント確認は、必ず事前に済ませてください。 ① Google Colab から Goole ドライブのマウントの方法については、添付のドキュメントを読み、事前確認お願いします。 https://docs.google.com/document/d/1wJEIOvWlEMdj-DwmvTPgVkWYUSvWsWNc/edit?usp=drive_link&ouid=10688145266 8834877355&rtpof=true&sd=true ② 全てのコードを動かすには、HuggingFace, OpenAI API, LangSmith のシークレットトークン（キー）が必要です。 HuggingFace シークレットトークン取得参考記事： https://qiita.com/so9_Monodzukuri_AI/items/388e9b546ecb2ecfc420 OpenAI API キー取得参考記事： https://www.tis2010.jp/openai_apikey/ LangSmith キー（LangChainと共通）取得参考記事： https://zenn.dev/umi_mori/books/prompt-engineer/viewer/langsmith # Page. 5 ![Page Image](https://bcdn.docswell.com/page/V7NYVP84E8.jpg) 第１回の予告より 第２回で紹介するア プリ群 ① 混在ファイルフォーマット を取り扱えるRAGアプリ ②から 複数の質問の CSVファイ 一括回答 アプリ ル ③ 一括回答ログを 自動動評 、 クラウドにtracingアプ リ # Page. 6 ![Page Image](https://bcdn.docswell.com/page/YJ9P63K473.jpg) 混在ファイル対応 Embedding RAGの基本フロー RAGの性能は、単一要素 ベクトル DB の最適化ではなく、要素間 の協調設計で決まる 検索 生データ Embedding 何を渡すか Retriever コンテキスト コンテキスト制御装置 回答 質問 図参照： https://www.techfirm.co.jp/blog/vector-database https://g-gen.co.jp/useful/General-tech/llm-ai/ https://blog-ja.allganize.ai/allganize_rag-1/ どう振る 舞わせる か システム プロンプ ト 制約付き 生成 # Page. 7 ![Page Image](https://bcdn.docswell.com/page/GJ8DZMRVJD.jpg) 混在ファイル対応 RAGアプリの読み込み設計 ファイルごとに「最適な読み方」を選び、最後は同じ検索土台にそろえる 入力フォルダ ファイルタイプ別に 最適Loaderを切替 混在ファイル PDF 最後は同じ Document 形式に正規化 共通土台 適材適所 PDF PyMuPDFLoader ページ単位で読む Word Word UnstructuredWord (mode="elements") 段落・要素で読む PPT Excel PPT TXT / MD Excel 種類が違うので同じ 方法で読むと精度も 扱いやすさも落ちる TXT / MD UnstructuredPowerPoint (mode="elements") metadata をそろえる source / filename / filetype 検索に使う単位をそろえる 通常文書 → chunk 分割 Excel行 → そのまま保持 混在ファイルでも 「検索側から見れば同じ箱」にする → ここで初めて Embedding / Vector DB / Retriever を共通化できる スライド要素で読む 1行 = 1 Document 表の行をそのまま保持 そのまま読込み 軽い文書は直読 Embedding Vector DB Retriever 意味で近さを測る 同じ土台で蓄積 質問に応じて探す 「全部同じように読む」のではなく、 「読み方は分ける、検索の土台はそろえる」 # Page. 8 ![Page Image](https://bcdn.docswell.com/page/LJLMD3KRER.jpg) RAGの仕組みを理解して改善し続けよう LangChain Family × Gradio で作る「作る → 測る → 改善 → 鍛える → 自律化」5回シリーズ 1回目 2回目 測る 3回目 改善する 4回目 5回目 Ragas × LangSmith chunk & prompt 戦略 / Advanced RAG Embedding比較 & LLM RAG最適化 LangGraph / Agentic RAG 作る 動いて中身も見える RAGアプリ ・Retriever / Prompt / LLM ・ログ run_id）保存 ・Gradioで体験 （ ・検索と生成を分解 ・Faithfulness / Relevance ・悪い例を追跡 ・chunk_size / overlap ・当たりチャンク探索 ・改善の再現性 鍛える ・Embedding設計 ・FTで生成品質向上 ・評価結果を再利用 自律化 ・検索 / 推論 / 生成 ・ループで精度改善 ・運用に近い形へ シリーズの狙い： RAGアプリをベースに「作る → 測る → 改善 → モデル側も鍛える → 自律化」 の流れを体験し、継続的な改善サイクルを理解 する。 # Page. 9 ![Page Image](https://bcdn.docswell.com/page/47MYPD2P7W.jpg) RAGの基本フロー Embedding RAGの性能は、単一要素 ベクトル DB の最適化ではなく、要素間 の協調設計で決まる 検索 生データ Embedding 何を渡すか Retriever コンテキスト 評価 コンテキスト制御装置 回答 質問 図参照： https://www.techfirm.co.jp/blog/vector-database https://g-gen.co.jp/useful/General-tech/llm-ai/ https://blog-ja.allganize.ai/allganize_rag-1/ どう振る 舞わせる か システム プロンプ ト 制約付き 生成 # Page. 10 ![Page Image](https://bcdn.docswell.com/page/P7R914MYE9.jpg) RAGはそもそもあまり精度が高くない！ https://huggingface.co/d atasets/allganize/RAG-E valuation-Dataset-JA しかし、回答の正解率だけでは、RAGの改良の方針は見えてこない ➡ RAGの３要素（検 CoT）のどこを強化するかを判断できる評価方法が必要 索、ICL、 # Page. 11 ![Page Image](https://bcdn.docswell.com/page/PJXQY2V47X.jpg) 回答ログ一括自動評価アプリ ZIPファイル upload 評価方法 tracing 設定 ● ルールベース評価 ● Ragas LLM-as-a-judge 評価 (※) ● LangSmith trace ※ 今回は OpenAI の API 使用。 ローカルLLMでの可能だが、 試した範囲内では不安定 # Page. 12 ![Page Image](https://bcdn.docswell.com/page/3JK93MQPJD.jpg) ルールベース の一般評価アルゴリズム 完全一致だけでなく「近い正解」を救い、最後に 0 / 1 の統合判定へまとめる 一般評価エンジン 入力 回答 answer 正答 出力 複数ルールを併用 ground_truth 前処理 接頭辞除去・表記ゆれ正 規化 比較しやすい形 へ raw と normalized 統合判定 rule_based_correct の両方を作る 根拠コメント ① 生の完全一致 exact match raw 5 つの判定を OR 結合 1つでも通れば rule_based_correct = 1 ② 生の包含一致 contains match raw どのルールで救えたか ⑤ 属性ペア一致 attribute pairs ④ 順不同集合 ③ 正規化後一致 normalized match 補助指標 exact / contains / set / pair unordered set 結果を 人が追える 完全一致だけで落とさず、複数の「近い正解」判定を束ねて、一般評価としてまず粗くふるい分ける # Page. 13 ![Page Image](https://bcdn.docswell.com/page/LE3WGYP4E5.jpg) なぜ今回 Ragas を採用したか https://www.ragas.io/ 主要な候補 MLflow 今回は Ragas を採用 監視・運用まで含む 総合評価基盤 ① RAG専用の評価指標 が最初からそろっている trace / dataset /LangSmith 実 験比較に強い ② TruLens tracing と RAG Triad で品質診断 ③ DeepEval Retriever と回答生成を分けて 見られる テスト駆動・閾 値判定に強い どれも有力ただし主役が違う 「どう測るか」を説明しやすい ※ LangSmith は trace 可視化に併用 今回は「 RAGをどう測るか」が主用テーマ # Page. 14 ![Page Image](https://bcdn.docswell.com/page/8EDK15L57G.jpg) RAG自動評価パイプライン（ Ragas x LLM-as-a-Judge ） 質問 RAG run_advanced_rag() 回答 LLM as Judge Ragas 評価 指標 _run_ragas_on_results() Ragasの評価指標 Faithfulness：回答がコンテキストに忠実か（ハルシネーション検出） AnswerRelevancy：回答が質問に対して適切か ContextPrecision / ContextRecall：Retrieverの性能評価 評価 スコア # Page. 15 ![Page Image](https://bcdn.docswell.com/page/V7PKQG2DJ8.jpg) RAGの基本フローと Ragasの評価指標 Embedding ベクトルDB Retrieverが適切な文書 ContextPrecision ContextRecall 検索 生データ Embedding 質問 https://www.techfirm.co.jp/blog/vector-database https://g-gen.co.jp/useful/General-tech/llm-ai/ https://blog-ja.allganize.ai/allganize_rag-1/ コンテキスト Retriever AnswerRelevancy 回答が取得コンテキ ストに忠実か（ハル シネーション検出） Faithfulness 回答 回答が質問 に対して適切か 図参照： を取得できているか システム プロンプト # Page. 16 ![Page Image](https://bcdn.docswell.com/page/2JVV56DGJQ.jpg) 自動評価と人評価の比較検証 No. 質問 ファイル タイプ 一般評価 Ragas ChatGPT 人評価 1 「魔法科高校の劣等生」のキャラクター司波深雪の声優は誰ですか？ txt 正解 正解 正解 正解 2 「魔法科高校の劣等生」のキャラクター牛山欣治は社内で司波達也が「ミスター・シルバー」と呼ばれるのに対し、どのように呼ばれていますか？ txt 正解 正解 正解 正解 3 「魔法科高校の劣等生」の中で「水晶眼」を持つキャラクターは以下の３人のうち誰でしょうか？ 1. 司波深雪 2. 千葉エリカ3. 柴田美月 txt 不正解 不正解 不正解 不正解 4 「魔法科高校の劣等生」に出てくる戦略級魔法「オゾンサークル」は誰の魔法ですか？ txt 正解 不正解 正解 正解 5 「魔法科高校の劣等生」のキャラクター九重八雲の身長と体重を教えて。 txt 正解 正解 正解 正解 6 用語辞書および語彙を作成するための工程を具体的に示してください。 pdf 不正解 正解 正解 正解 7 日本企業のパーソナルデータ活用率について、諸外国と比べてどのような傾向があるか。 pdf 不正解 正解 正解 正解 pdf 不正解 正解 正解 正解 pdf 不正解 正解 不正解 正解 pdf 不正解 正解 不正解 不正解 xlsx 正解 正解 正解 正解 xlsx 正解 正解 正解 正解 8 Ragas LLM-as-a-judge 評価は、 ルールベース評価よりも人評価に近く、 販売する業務システムのマニュアルを外部業者に委託する予定です。これは下請法の対象になりますか？ AI評価（ChatGPT-5.4）ともほぼ同レベ 9 データセンター事業者ではない所有者の建物を間借りして、データセンター事業を行っています。この場合、ベンチマーク指標の報告対象になりますか？ 10 AIが社内業務の効率化の活用例として、翻訳、文案作成の他に 11 社員 ID1001の社員の氏名は何ですか。 12 佐藤 花音さんの勤務地はどこですか。 13 鈴木 悠真さんの役職は何ですか。 xlsx 正解 正解 正解 正解 14 高橋 七海さんの備考には何と書かれていますか。 xlsx 正解 正解 正解 正解 15 田中 蓮さんのスキルを答えてください。 xlsx 正解 正解 正解 正解 16 太田 彩乃さんの備考には何と書かれていますか。 xlsx 不正解 不正解 正解 正解 pptx 正解 正解 正解 正解 pptx 正解 正解 正解 正解 pptx 不正解 不正解 不正解 不正解 pptx 不正解 不正解 不正解 不正解 pptx 不正解 不正解 不正解 不正解 17 18 19 20 21 ル ルールベース評価も、クイズ形式の 3つの例を挙げてください。 単純問題の評価なら十分実用的 セミナー RAGの仕組みを理解して改善し続けよう」の第 1回のタイトルは何ですか。 「 セミナー RAGの仕組みを理解して改善し続けよう」の第 2回では何を作ろうとしていますか。 「 セミナー RAGの仕組みを理解して改善し続けよう」のスライドでは、RAGの基本フローに出てくる要素のうち、「検索」の次にあるのは何ですか。 「 セミナー RAGの仕組みを理解して改善し続けよう」のスライドでは、Retrieverは何の装置と説明されていますか。 「 セミナー RAGの仕組みを理解して改善し続けよう」の第 「 2回以降は、テキストファイル以外にどのようなファイルも読み込めるアプリのコードをいじる予定ですか。 # Page. 17 ![Page Image](https://bcdn.docswell.com/page/5EGL6NVDJL.jpg) LangSmith tracing で評価結果を追跡する スコアだけでは見えない「失敗の流れ」を、あとから追えるようにする https://smith.langchain.com 評価アプリ 評価対象 ログ ZIP 一般評価 Ragas 評価 LangSmith で Judge 評価 追えること ・どの質問で失敗したか 質問 LangSmith trace 記録 回答 正答 取得コンテキスト 親 trace -> log_batch_evaluation log_eval_question ・どの回答が低評価か ・どの実行条件だったか 子 trace -> ・悪い例をあとで見返せる スコアは結果、trace は「なぜその結果になったか」を追うための手がかり # Page. 18 ![Page Image](https://bcdn.docswell.com/page/4JQY4Q6X7P.jpg) LangSmith tracing で評価結果（ Cloud版） Default では LangSmith Cloud で tracing／必要に応じて独自サーバーでも tracing 可 # Page. 19 ![Page Image](https://bcdn.docswell.com/page/K74WQN42E1.jpg) ３回目のハンズオンで実行するアプリ CSVファイル ３回目：一括RAG回答アプリ ● Chunk 戦略 選択 ● Prompt 戦略 選択 ● アドバンスRAG 選択 機能実装 # Page. 20 ![Page Image](https://bcdn.docswell.com/page/LJ1YP54KEG.jpg) 10回シリーズ： RAG の基礎から実践まで 企画中 第一部 基礎編：RAGの仕組みを理解して改善し続けよう（ 2026/03〜07） 1回目 作る 動いて中身も見える RAGアプリ ・Retriever / Prompt / LLM ・ログ run_id）保存 ・Gradioで体験 （ 2026/08 GPU 効率利用 LLM 量子化 2回目 測る Ragas × LangSmith ・検索と生成を分解 ・Faithfulness / Relevance ・悪い例を追跡 改善する 4回目 5回目 鍛える 自律化 chunk & prompt 戦略 / Advanced RAG Embedding比較 & LLM RAG最適化 LangGraph / Agentic RAG 3回目 ・chunk_size / overlap ・当たりチャンク探索 ・改善の再現性 ・Embedding設計 ・FTで生成品質向上 ・評価結果を再利用 ・検索 / 推論 / 生成 ・ループで精度改善 ・運用に近い形へ 第二部 実践編：現場で扱うための拡張と運用 (2026/09〜12） 6回目 DBを整える 図表を含むドキュメ ントの前処理 7回目 8 回目 関係を知る 目をもつ Graph RAG VLM RAG 9回目 運用 MLOpsを組み込んだ 実用的なRAGｼｽﾃﾑ # Page. 21 ![Page Image](https://bcdn.docswell.com/page/GJWG25XP72.jpg) APPENDIX # Page. 22 ![Page Image](https://bcdn.docswell.com/page/4EZLDN6673.jpg) ハンズオンセミナー用４問（異なるファイルタイプ） 質問 正解 ファイ ルタイ プ 「魔法科高校の劣等生」の中で「水晶眼」を持つキャラ クターは以下の３人のうち誰でしょうか？ 1. 司波深雪 2. 千葉エリカ 3. 柴田美月 3. 柴田美月 txt 日本企業のパーソナルデータ活用率について、諸外国 と比べてどのような傾向があるか。 企業におけるパーソナルデータの活用状況について、 活用していると回答した企業は日本では52.8%でした。 一方、米国では活用している企業の割合は 81.9%、ドイツ77.0%、中国92.6%と、日本に比べ て大幅に活用が進んでいます。 pdf 太田 彩乃さんの備考には何と書かれていますか。 記述なし xlsx セミナー「RAGの仕組みを理解して改善し続けよう」 の第2回では何を作ろうとしていますか。 RAGを測るモノサシ ppt # Page. 23 ![Page Image](https://bcdn.docswell.com/page/Y76W182L7V.jpg) ハンズオンセミナー用４問（異なるファイルタイプ） No. 質問 ファイル タイプ 一般評価 Ragas ChatGPT 人評価 1 「魔法科高校の劣等生」のキャラクター司波深雪の声優は誰ですか？ txt 正解 正解 正解 正解 2 「魔法科高校の劣等生」のキャラクター牛山欣治は社内で司波達也が「ミスター・シルバー」と呼ばれるのに対し、どのように呼ばれていますか？ txt 正解 正解 正解 正解 txt 不正解 不正解 不正解 不正解 3 「魔法科高校の劣等生」の中で「水晶眼」を持つキャラクターは以下の３人のうち誰でしょうか？ 1. 司波深雪2. 千葉エリカ 3. 柴田美月 4 「魔法科高校の劣等生」に出てくる戦略級魔法「オゾンサークル」は誰の魔法ですか？ txt 正解 不正解 正解 正解 5 「魔法科高校の劣等生」のキャラクター九重八雲の身長と体重を教えて。 txt 正解 正解 正解 正解 6 用語辞書および語彙を作成するための工程を具体的に示してください。 pdf 不正解 正解 正解 正解 7 日本企業のパーソナルデータ活用率について、諸外国と比べてどのような傾向があるか。 pdf 不正解 正解 正解 正解 8 販売する業務システムのマニュアルを外部業者に委託する予定です。これは下請法の対象になりますか？ pdf 不正解 正解 正解 正解 9 データセンター事業者ではない所有者の建物を間借りして、データセンター事業を行っています。この場合、ベンチマーク指標の報告対象になりますか？ pdf 不正解 正解 不正解 正解 10 AIが社内業務の効率化の活用例として、翻訳、文案作成の他に3つの例を挙げてください。 pdf 不正解 正解 不正解 不正解 11 社員ID1001の社員の氏名は何ですか。 xlsx 正解 正解 正解 正解 12 佐藤 花音さんの勤務地はどこですか。 xlsx 正解 正解 正解 正解 13 鈴木 悠真さんの役職は何ですか。 xlsx 正解 正解 正解 正解 14 高橋 七海さんの備考には何と書かれていますか。 xlsx 正解 正解 正解 正解 15 田中 蓮さんのスキルを答えてください。 xlsx 正解 正解 正解 正解 16 太田 彩乃さんの備考には何と書かれていますか。 xlsx 不正解 不正解 正解 正解 17 セミナー「RAGの仕組みを理解して改善し続けよう」の第1回のタイトルは何ですか。 pptx 正解 正解 正解 正解 18 セミナー「RAGの仕組みを理解して改善し続けよう」の第 2回では何を作ろうとしていますか。 pptx 正解 正解 正解 正解 19 セミナー「RAGの仕組みを理解して改善し続けよう」のスライドでは、 RAGの基本フローに出てくる要素のうち、「検索」の次にあるのは何ですか。 pptx 不正解 不正解 不正解 不正解 20 セミナー「RAGの仕組みを理解して改善し続けよう」のスライドでは、 Retrieverは何の装置と説明されていますか。 pptx 不正解 不正解 不正解 不正解 21 セミナー「 RAGの仕組みを理解して改善し続けよう」の第 2回以降は、テキストファイル以外にどのようなファイルも読み込めるアプリのコードをいじる予定ですか。 pptx 不正解 不正解 不正解 不正解 # Page. 24 ![Page Image](https://bcdn.docswell.com/page/G75M492M74.jpg) 自動評価と人評価の比較検証 No. ※Ragas は、混成21問＋prompt_detail 条件では人評価に比較的近かった。 一方別問題での実験では、回答条件の違いにより低めに出る傾向も確認された。 質問 ファイル タイプ 一般評価 Ragas ChatGPT 人評価 1 「魔法科高校の劣等生」のキャラクター司波深雪の声優は誰ですか？ txt 正解 正解 正解 正解 2 「魔法科高校の劣等生」のキャラクター牛山欣治は社内で司波達也が「ミスター・シルバー」と呼ばれるのに対し、どのように呼ばれていますか？ txt 正解 正解 正解 正解 3 「魔法科高校の劣等生」の中で「水晶眼」を持つキャラクターは以下の３人のうち誰でしょうか？1. 司波深雪2. 千葉エリカ3. 柴田美月 txt 不正解 不正解 不正解 不正解 4 「魔法科高校の劣等生」に出てくる戦略級魔法「オゾンサークル」は誰の魔法ですか？ txt 正解 不正解 正解 正解 5 「魔法科高校の劣等生」のキャラクター九重八雲の身長と体重を教えて。 txt 正解 正解 正解 正解 6 用語辞書および語彙を作成するための工程を具体的に示してください。 pdf 不正解 正解 正解 正解 7 日本企業のパーソナルデータ活用率について、諸外国と比べてどのような傾向があるか。 pdf 不正解 正解 正解 正解 8 販売する業務システムのマニュアルを外部業者に委託する予定です。これは下請法の対象になりますか？ pdf 不正解 正解 正解 正解 9 データセンター事業者ではない所有者の建物を間借りして、データセンター事業を行っています。この場合、ベンチマーク指標の報告対象になりますか？ pdf 不正解 正解 不正解 正解 10 AIが社内業務の効率化の活用例として、翻訳、文案作成の他に3つの例を挙げてください。 pdf 不正解 正解 不正解 不正解 11 社員ID1001の社員の氏名は何ですか。 xlsx 正解 正解 正解 正解 12 佐藤 花音さんの勤務地はどこですか。 xlsx 正解 正解 正解 正解 13 鈴木 悠真さんの役職は何ですか。 xlsx 正解 正解 正解 正解 14 高橋 七海さんの備考には何と書かれていますか。 xlsx 正解 正解 正解 正解 15 田中 蓮さんのスキルを答えてください。 xlsx 正解 正解 正解 正解 16 太田 彩乃さんの備考には何と書かれていますか。 xlsx 不正解 不正解 正解 正解 17 セミナー「RAGの仕組みを理解して改善し続けよう」の第1回のタイトルは何ですか。 pptx 正解 正解 正解 正解 18 セミナー「RAGの仕組みを理解して改善し続けよう」の第2回では何を作ろうとしていますか。 pptx 正解 正解 正解 正解 19 セミナー「RAGの仕組みを理解して改善し続けよう」のスライドでは、 RAGの基本フローに出てくる要素のうち、「検索」の次にあるのは何ですか。 pptx 不正解 不正解 不正解 不正解 20 セミナー「RAGの仕組みを理解して改善し続けよう」のスライドでは、 Retrieverは何の装置と説明されていますか。 pptx 不正解 不正解 不正解 不正解 21 セミナー「 RAGの仕組みを理解して改善し続けよう」の第 2回以降は、テキストファイル以外にどのようなファイルも読み込めるアプリのコードをいじる予定ですか。 pptx 不正解 不正解 不正解 不正解 # Page. 25 ![Page Image](https://bcdn.docswell.com/page/9J29V24RER.jpg) RAGの仕組みを理解して改善し続けよう 〜 LangChain Family × GradioによるRAGアプリ開発 〜 第１回：動いて中身も見える RAGを作って触ろう 〜 LangChainで基本RAGアプリ開発 〜 第２回： RAGを測るモノサシを作ろう 〜 Ragas × LangSmithでRAG評価アプリ開発 〜 第３回： RAGを最適化しよう 〜 チャンクとプロンプトの戦略＋アドバンス RAGアプリ開発 〜 第４回： RAGの頭脳を鍛えよう 〜 Embeddingモデル選定と LLMファインチューニング 〜 第５回：進化系 RAGに挑戦 〜 LangGraphでAgentic RAG開発 〜 # Page. 26 ![Page Image](https://bcdn.docswell.com/page/DEY43YM5JM.jpg) RAGの基本フローと各回の関係 Embedding ベクトルDB RAGの性能は、単一要素 の最適化ではなく、要素間 の協調設計で決まる 第 3回：チャンク戦 略 検索 生データ 第4回： Emb.比較 Embedding 何を渡すか コンテキスト Retriever 第 4回：LLM FT コンテキスト制御装置 第3回： Adv. RAG 質問 図参照： https://www.techfirm.co.jp/blog/vector-database https://g-gen.co.jp/useful/General-tech/llm-ai/ https://blog-ja.allganize.ai/allganize_rag-1/ どう振る 舞わせるか 制約付き 生成 第 3回：プロンプト戦 略 回答 第 2回：評 価 # Page. 27 ![Page Image](https://bcdn.docswell.com/page/VJNYVPW478.jpg) 第二部：現場で扱うための拡張と運用 第６回：図表を含むドキュメントの前処理 第７回： Graph RAG 第８回： VLM RAG 第９回： MLOpsを組み込んだ実用的な RAGシステム # Page. 28 ![Page Image](https://bcdn.docswell.com/page/YE9P63X4J3.jpg) 第二部：現場で扱うための拡張と運用 6回目 DBを整える 図表を含むドキュ メントの前処理 7回目 8回目 関係を知る 目をもつ Graph RAG VLM RAG シリーズの狙い： 第一部の RAG の基礎を元に、現場で扱うための拡張と運用を目指す。 9回目 運用 MLOpsを組み込んだ実 用的なRAGｼｽﾃﾑ