【Paper&Hacks Vol.92】LangGraph による Agentic RAGハンズオン

（５回シリーズ）RAGの仕組みを理解して改善し続けよう 〜 LangChain Family × GradioによるRAGアプリ開発 〜 第５回：進化系 RAGに挑戦 〜 LangGraphでAgentic RAG開発 〜 2026/7/21異業種データサイエンス研 究会 ® 代表井伊 篤彦

井伊篤彦 Who am I? 1963年（昭 38年）生まれ。京都大学工学部修士課程（合成化学専攻）修了。大学 和 院で量子化学を副専攻。 前職は一部上場大手日用品製造メーカー研究所。社内で各種製品開発を行うかた わらコンピューターケミストリーを手掛け、化学分子 3D表示ソフト等をC言語を用い て開発。 その後、海外駐在やグローバルな商品開発マネージャーを経て、2017年からAI及 びxR (VR, AR, MR) を用いた新規プロジェクトをゼロから立ち上げ率いた。AIプロ ジェクトでは、自ら機械学習モデルを開発した。 2019年に FBコミュニティ「異業種データサイエンス研究会 ®」を立ち上げる。現在 16個のFBコミュニティ を運営してい る。 プログラミングスクールで AIプログラミングの指導 をする傍ら、 年間数十回のデータサイエンス・ AI関連の セミナーを実施 している。

RAGの仕組みを理解して改善し続けよう LangChain Family × Gradio で作る「作る → 測る → 改善 → 選択 → 自律化」5回シリーズ 2回目 1回目 測る 改善する Ragas × LangSmith chunk & prompt 戦略 / Advanced RAG 作る 動いて中身も見える RAGアプリ ・Retriever / Prompt / LLM ・ログ run_id）保存 （・Gradioで体験 3回目 ・検索と生成を分解 ・Faithfulness / Relevance ・悪い例を追跡 ・chunk_size / overlap ・当たりチャンク探索 ・改善の再現性 4回目 5回目 選択 タスクに応じた generator 選択 / API 利 用 ・Embedding選択 ・API利用 ・モデルサイズ選択 自律化 LangGraph / Agentic RAG ・検索 / 推論 / 生成 ・ループで精度改善 ・運用に近い形へ シリーズの狙い： RAGアプリをベースに「作る → 測る → 改善 → 選択 → 自律化」の流れを体験し、検索・ 生成・評価・モデル選択を組み合わせた、継続的な改善サイクルを理解 する。

ハンズオン用コード（ zipファイル） https://drive.google.com/file/d/1rfYVKUrQx3AcUTj7z5k0bbSrzBA97CHq/view?usp=sharing ※ 本ハンズオンは、事前準備を完了していることを前提に進行します。 コード実行用のキー取得、Google Colab の基本操作、Google Drive のマウント確認は、必ず事前に済ませてください。 Google Colab から Google ドライブのマウントの方法については、添付のドキュメントを読み、事前確認お願いします。 ① https://docs.google.com/document/d/1wJEIOvWlEMdj-DwmvTPgVkWYUSvWsWNc/edit?usp=drive_link&ouid=106881452668 834877355&rtpof=true&sd=true ② ハンズオン用コードを動かすには、HuggingFace, OpenAI API （有料版）のシークレットトークン（キー）が必要です。 HuggingFace シークレットトークン取得参考記事： https://qiita.com/so9_Monodzukuri_AI/items/388e9b546ecb2ecfc420 OpenAI API キー取得参考記事： https://www.tis2010.jp/openai_apikey/ � Google Colab のシークレット機能の使い方記事： https://note.com/npaka/n/n79bb63e17685

• https://drive.google.com/file/d/1rfYVKUrQx3AcUTj7z5k0bbSrzBA97CHq/view?usp=sharing
• https://docs.google.com/document/d/1wJEIOvWlEMdj-DwmvTPgVkWYUSvWsWNc/edit?usp=drive_link&ouid=106881452668834877355&rtpof=true&sd=true
• https://qiita.com/so9_Monodzukuri_AI/items/388e9b546ecb2ecfc420
• https://www.tis2010.jp/openai_apikey/
• https://note.com/npaka/n/n79bb63e17685

（1〜4回目） RAGの基本フローと各回の関係 Embedding ベクトル DB RAGの性能は、単一要素 の最適化ではなく、要素間 の協調設計で決まる 第3回：チャンク戦略 検索 生データ 第4回：Emb.比較 Embedding 何を渡すか コンテキスト Retriever 第4回：LLM 選択 コンテキスト制御装置 質問 図参照： https://www.techfirm.co.jp/blog/vector-database https://g-gen.co.jp/useful/General-tech/llm-ai/ https://blog-ja.allganize.ai/allganize_rag-1/ 制約付き 生成 第3回：Adv. RAG どう振る舞 わせるか 第3回：プロンプト戦略 回答 第2回：評価

• https://www.techfirm.co.jp/blog/vector-database
• https://g-gen.co.jp/useful/General-tech/llm-ai/
• https://blog-ja.allganize.ai/allganize_rag-1/

Claude Codeの開発者であり Anthropicのエンジニアでもある Boris Cherny氏「初期の Claude CodeではRAG＋ ローカルベクター DBを使っていたが、最終的に Agentic Searchの方が圧倒的に良いと分かった 」 https://zenn.dev/karamage/articles/2514cf04e0d1ac https://note.com/masajiro999/n/n1011d8639d8d

Anthropicも重視する「静的 RAG」から「 Agentic RAG」へ 従来の RAG Agentic RAG 質問 質問 ↓ ↓ 検索 検索 ↓ ↓ 判定 文脈 ↓ 回答 一発検索で終わる 静的な流れ ↓ 検索語を書き換え ↓ 再検索 ↓ 回答 Anthropic も、静的な一発検索より「多段で探索する agentic な方式」を重視 今回の簡易 Agentic RAG でも、 Basic RAG で落ちた問題を再検索で拾えた

Agentic RAGの基本フロー ※ LLMがフローの中で Agent として働く ※LLM ※LLM ※LLM

実装フロー： Agentic RAG の再検索ループと rag_type の位置づけ 質問 ↓ agentic_mode に応じて current_query を決 める context 生成（左側からの続き） ↓ judge：根拠は十 ├─ minimal_check：元の質問 分？ └─ decompose_query：query_hint ├── YES │ ↓ │ generate_answer_from_context │ ↓ │ 最終回答 │ ↓ retrieve： 検索 └─ ここで rag_type によって検索方式が分かれる ├─ Basic RAG ├─ Rerank_v1 / Rerank_v2 ├─ Hybrid Search_BM25 ├─ Multi-Query ├─ HyDE └─ LLM Route ↓ context 生成（右側に続く） ↓ rewrite_query：検 索語を書き換え ↓ └─ NO retrieve に戻る └─ 同じ rag_typeで再検索 Agentic RAG の本質は、judge で根拠不足を検出したときに、rewrite_queryで検索語を書き換え retrieve に戻り、同じ rag_typeで再検索するループ である。

Agentic RAG：minimal_check と decompose_query の違い Q15のような複合問題：① 牛山欣治 ＋ ② 中条あずさ を両方そろえる minimal_check 普通に検索したあとで、根拠が足りるかを判定 decompose_query 最初に問いを分け、要素ごとに検索 1. まず普通に検索 1. 問いを分解する 2. judge：根拠は十分？ 2. 要素ごとに検索：A人物 / B生徒 3. 不足なら元の問いを検索し直す 3. judge：根拠は十分？ 4. 文脈から回答生成 4. 統合して回答生成 効きどころ： 「片落ち」を見つけて補う 効きどころ： 複合問題をサブ問題に分ける minimal_check は「後から確認して足す」／ decompose_query は「最初から分けて探す」

LangChain と LangGraph の関係 LangGraph状態 LangChain RAGア プリの部品箱 LLM 回答生成・判定 遷移の制御盤 Prompt 指示文 文書検索 Loader 部品を使って 流れを組む 文書読み込み Text Splitter chunk分割 Vector Store Embedding蓄積 LangGraph は LangChain の代替ではない Retriever関連 基本RAGなら 質問 → Retriever → Context → Prompt → LLM → 回答 RAG部品を、分岐・ループつきで動かす 質問 検索 retrieve 判定 judge根 拠は十分？ 不足なら query を書き換え 十分なら生成 第5回での意味 generate LangChain 的な RAG 部品を使いながら、LangGraph で 「検索 → 判定 → 再検索 → 生成」の流れを制御する LangChain は部品、LangGraph は流れ。Agentic RAG では「検索・判定・再検索・生成」を状態遷移として表す

Agentic RAG のワークフローグラフ構造 ワークフローグラフ構造は、コードの設計図だから、全てのパスが表示されている minimal check decomposed query agentic_mode agentic_mode decompose mimimal off off 検索ループ 検索ループ minimal_check と decompose_query のワークフローグラフ構造は同じ。でも、 agentic_modeによって最初にどの query 生成ノードを通るかが違う 。

minimal_check と decompose_query の実行 trace max_agentic_loops=2 の場合 minimal check decomposed query judge=no judge=no judge=yes judge=no judge=yes max_agentic_loops=2 なのでここ 回答 で なのでここ ループ終了 →回答 で minimal_check は「後から確認して足す」／ decompose_query は「最初から分けて探す」

魔法科高校 15問は「 RAG実験道具」 小型でも、検索・列挙・統合・取り違えを観察できるベンチマーク 15問のタイプ分散 単純な事実確認だけでなく、実務RAG で起き やすい失敗型を意図的に混在 単純事実確認 人物・属性対応 複数正答列挙 組織名列挙 人物関係対応 観察できること 複合文脈統合 DB用5分割テキスト 重点問題が診断軸になる 1つにまとめすぎず、細かく分けすぎ ない。 に近い距離感 「情報が散らばる」実務RAG を作る。 話題のまとまり を保持 巨大文書の偶 然ヒット抑制 複数ファイル 横断を再現 retrieval失敗 を追跡しやすい chunk戦略で改善する問題 promptで救える問題 Q12 Q15 複数要素列挙 prompt_detailで改善し やすい 複合文脈統合 generator 差が見える超難問 generator変更で残る問題を突破 「最高点探し」ではなく、失敗要因を分解し、次の仮説へつなぐための小型ベンチマーク

魔法科高校 15問 一覧 Q番号・質問・正答・問題タイプ｜検索・列挙・統合・取り違えを観察するための小型ベンチマーク Q 質問 Q1 「魔法科高校の劣等生」のキャラクター司波深雪の声優は誰ですか？ 早見沙織 単純事実確認 Q2 九島家の説明では司波深雪に匹敵する魔法力を持つとされ、別の記述では十三使徒「アンジー・シリウス」と呼ばれる人物は誰で すか？ アンジェリーナ・クドウ・シールズ（リーナ） 。 人物・属性対応（同一人物特定） Q3 十三束鋼の二つ名「Range Zero（レンジ・ゼロ）」には、どのような二つの意味が込められていますか？ 遠隔魔法が苦手だという揶揄と、ゼロ距離では無類の強さを発揮するという敬意の二つの 意味が込められている。 複数要素説明（二面性理解） Q4 「魔法科高校の劣等生」のキャラクター九重八雲の身長と体重を教えて。 身長177cm、体重67kg 単純事実確認 Q5 「魔法科高校の劣等生」で、司波達也と九島光宣はどちらも「精霊の眼（エレメンタル・サイト） 」を持っています。2人の知覚の得 意分野はそれぞれ何ですか？ 司波達也は分解・再成の特性から能動的な知覚に優れ、九島光宣は仮装行列（パレード） の特性から受動的な知覚に優れ、意識を向けていない状態でも遠方の魔法の兆候を感じ取 れる。 人物・属性対応（比較） Q6 「魔法科高校の劣等生」の中で「水晶眼」を持つキャラクターは以下の３人のうち誰でしょうか？ 1. 司波深雪 2. 千葉エリカ 3. 柴田美月 柴田美月 単純事実確認（選択式） Q7 吉祥寺真紅郎の異名「カーディナル・ジョージ」は、どの二つの要素に由来していますか？また、彼がそれを活かして使う代表的 な魔法は何ですか？ 仮説上の存在だった「基本（カーディナル）コード」の発見と、名前の「真紅（カーディ ナルレッド） 」に由来する。代表的な魔法は「不可視の弾丸（インビジブル・ブリット）」。 複数要素列挙（異名の由来） Q8 一条将輝の戦略級魔法「海爆（オーシャン・ブラスト）」は、どの技術を基幹にし、誰が完成させたものですか？ 達也から提供されたトゥマーン・ボンバの基幹技術「チェイン・キャスト」を基に、吉祥 寺真紅郎が完成させた。 技術・人物対応 カーラ・シュミットとウィリアム・マクロード 複数正答列挙 Q9 「魔法科高校の劣等生」に出てくる戦略級魔法「オゾンサークル」は誰の魔法ですか？ Q10 正答 各ファイルの記述に従うと、日本の国家公認戦略級魔法師について、五輪澪はどのような立場で記されており、一条将輝は何人目 五輪澪は「日本が公式に認定している唯一の戦略級魔法師」と記されており、一条将輝は として認定されましたか？ 「日本で二人目の国家公認戦略級魔法師」として認定された。 Q11 「魔法科高校の劣等生」のキャラクター牛山欣治は社内で司波達也が「ミスター・シルバー」と呼ばれるのに対し、どのように呼 ばれていますか？ 問題タイプ 複数ファイル記述比較 ミスター・トーラス 単純事実確認 『メイジアン・カンパニー』において、司波達也が設立した三つの組織・法人の名前をすべて 挙げてください。 「メイジアン・ソサエティ」 「ステラ・ジェレネーター」「一般社団 法人メイジアン・カンパニー」 。 組織名列挙 Q13 「魔法科高校の劣等生」の中条あずさが持つ系統外魔法「梓弓」は、どのようなタイプの魔法で、どのような状況に適していますか？ 情動干渉系の系統外魔法で、一定のエリア内にいる人間をある種のトランス状態に誘導す る。個人ではなくエリアに働きかける稀少な魔法で、無秩序な混乱の鎮圧に適している。 説明型（魔法の性質・用途） Q14 一色家の固有魔法「神経電流撹乱（神経撹乱）」について、一条家では誰が使えず、誰がその適性を受け継いでいますか？ 一条美登里は使えず、長女の一条茜がその適性を受け継いでいる。 人物関係対応（家系継承） Q15 「トーラス・シルバー」に関して、司波達也がその名で製品を世に送り出す際に組んでいる人 物と、その正体を確信した第一高校の生徒をそれぞれ答えてください。 組んでいる人物は牛山欣治で、正体を確信した第一高校の生徒 は中条あずさ。 複合文脈統合 Q12

Agentic RAG スクリーニング結果 実験条件（固定） 完成 minimal_check と decompose_query の比較 chunk条件： 300/50/5 minimal_check no Agentic minimal 12 10 10 12 13 Agentic：minimal / decompose 各条件： 15 問 × 1回 最初から分けて探す max loops 4 10 5 14 max loops 4 no Agentic 15 decompose 13 9 8 0 prompt：simple decompose_query 後から確認して足す 15 embedding：ruri RAG方式： Basic RAG 12 10 10 8 13 12 9 8 5 Qwen3 8B gpt-4o mini gpt-4.1 mini gpt-5.4 mini 0 Qwen3 8B gpt-4o mini gpt-4.1 mini gpt-5.4 mini gpt-4.1-mini × decompose_query × max loops 4 の条件で 14/15 達成。Q15は全Agentic条件で未突破

gpt-4.1-mini × decompose_query： chunk条件の比 較max_agentic_loops=4 / 25回分=375回答の集約分析より 条件別の最大正答数 / 15問 15 14 15 実験条件（固定） generator：gpt-4.1-mini embedding：ruri Agentic：decompose_query max loops：4 prompt：simple 比較条件： 300/50/5 vs 800/80/8 結果 ■ simple 300/50/5：14/15 ■ simple 800/80/8：15/15 解釈 10 ・300/50/5 で 14/15 まで到達 も ・chunk を大きめにすると、複合文脈の統合が安定 5 ・800/80/8 は全問攻略候補 結論 0 simple 300/50/5 simple 800/80/8 全問攻略： simple / 800/80/8 コンテクスト解釈力が高い gpt-4.1-mini x decompose では、300/50/5 から 800/80/8 に変更することで 全問攻略

Agentic RAGの反復探索挙動 実験条件（ search分 析） 対象 : 25回×15問 gpt-4.1-mini × decompose_query × loop4 / 全375回答のsearch回数分布 generator : gpt-4.1-mini 実search回数の分布（ 375回答） 254件 / 68% 1回 search max loops : 4 Agentic : decompose_query chunk条件を横断 結論 多くは 1回で終了 2回 search 48件 / 13% 全体平均 1.66回 / 問 1回 searchで終了 68% 3回 search 4回 search 19件 / 5% 54件 / 14% • max loops=4でも常に4回検索するわけではない • Q15は平均3.64回searchでも正答率が低い • loopを増やすだけでは改善せず、Qwen3-8Bでは悪化例もある • 重要なのは不足判定とquery再構成 Agentic RAGは「たくさん検索する」のではなく、必要な時だけ検索をやり直す技術 18

実験条件（問題別分析） Agentic RAG の問題タイプ別難易度 問題別 正答数 / 25回 max loops：4 実行回数： 25回×15問 Embedding：Ruri RAG方式：Basic RAG 判定：省略許容 結論 24 25 対象：gpt-4.1-mini × decompose 人物対応・列挙系はかなり救える。 21 一方で、残る壁は 複数ファイル比較 と 複合文脈統合。 21 20 18 Q8: 13/25 省略許容でかなり改善 Q14: 25/25 省略許容で一気に安定 Q10: 5/25 複数ファイル比較が壁 13 Q15: 3/25 複合文脈統合が最後の壁 10 タイプ色分け 単純事実・選択式 Q1 / Q4 / Q6 / Q11 5 3 0 人物対応・比較・家系継承 Q2 / Q5 / Q8 / Q14 列挙・説明型 Q3 / Q7 / Q9 / Q12 / Q13 複数ファイル比較・複合文脈統合 Q10 / Q15 Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10 Q11 Q12 Q13 Q14 Q15 Agentic RAG でも「複数ファイル比較・複合文脈統合 」タイプは依然として 高難度 1 9

魔法科高校 15問 一覧 Q番号・質問・正答・問題タイプ｜検索・列挙・統合・取り違えを観察するための小型ベンチマーク Q 質問 Q1 「魔法科高校の劣等生」のキャラクター司波深雪の声優は誰ですか？ 早見沙織 単純事実確認 Q2 九島家の説明では司波深雪に匹敵する魔法力を持つとされ、別の記述では十三使徒「アンジー・シリウス」と呼ばれる人物は誰で すか？ アンジェリーナ・クドウ・シールズ（リーナ） 。 人物・属性対応（同一人物特定） Q3 十三束鋼の二つ名「Range Zero（レンジ・ゼロ）」には、どのような二つの意味が込められていますか？ 遠隔魔法が苦手だという揶揄と、ゼロ距離では無類の強さを発揮するという敬意の二つの 意味が込められている。 複数要素説明（二面性理解） Q4 「魔法科高校の劣等生」のキャラクター九重八雲の身長と体重を教えて。 身長177cm、体重67kg 単純事実確認 Q5 「魔法科高校の劣等生」で、司波達也と九島光宣はどちらも「精霊の眼（エレメンタル・サイト） 」を持っています。2人の知覚の得 意分野はそれぞれ何ですか？ 司波達也は分解・再成の特性から能動的な知覚に優れ、九島光宣は仮装行列（パレード） の特性から受動的な知覚に優れ、意識を向けていない状態でも遠方の魔法の兆候を感じ取 れる。 人物・属性対応（比較） Q6 「魔法科高校の劣等生」の中で「水晶眼」を持つキャラクターは以下の３人のうち誰でしょうか？ 1. 司波深雪 2. 千葉エリカ 3. 柴田美月 柴田美月 単純事実確認（選択式） Q7 吉祥寺真紅郎の異名「カーディナル・ジョージ」は、どの二つの要素に由来していますか？また、彼がそれを活かして使う代表的 な魔法は何ですか？ 仮説上の存在だった「基本（カーディナル）コード」の発見と、名前の「真紅（カーディ ナルレッド） 」に由来する。代表的な魔法は「不可視の弾丸（インビジブル・ブリット）」。 複数要素列挙（異名の由来） Q8 一条将輝の戦略級魔法「海爆（オーシャン・ブラスト）」は、どの技術を基幹にし、誰が完成させたものですか？ 達也から提供されたトゥマーン・ボンバの基幹技術「チェイン・キャスト」を基に、吉祥 寺真紅郎が完成させた。 技術・人物対応 カーラ・シュミットとウィリアム・マクロード 複数正答列挙 Q9 「魔法科高校の劣等生」に出てくる戦略級魔法「オゾンサークル」は誰の魔法ですか？ Q10 正答 各ファイルの記述に従うと、日本の国家公認戦略級魔法師について、五輪澪はどのような立場で記されており、一条将輝は何人目 五輪澪は「日本が公式に認定している唯一の戦略級魔法師」と記されており、一条将輝は として認定されましたか？ 「日本で二人目の国家公認戦略級魔法師」として認定された。 Q11 「魔法科高校の劣等生」のキャラクター牛山欣治は社内で司波達也が「ミスター・シルバー」と呼ばれるのに対し、どのように呼 ばれていますか？ 問題タイプ 複数ファイル記述比較 ミスター・トーラス 単純事実確認 『メイジアン・カンパニー』において、司波達也が設立した三つの組織・法人の名前をすべて 挙げてください。 「メイジアン・ソサエティ」 「ステラ・ジェレネーター」「一般社団 法人メイジアン・カンパニー」 。 組織名列挙 Q13 「魔法科高校の劣等生」の中条あずさが持つ系統外魔法「梓弓」は、どのようなタイプの魔法で、どのような状況に適していますか？ 情動干渉系の系統外魔法で、一定のエリア内にいる人間をある種のトランス状態に誘導す る。個人ではなくエリアに働きかける稀少な魔法で、無秩序な混乱の鎮圧に適している。 説明型（魔法の性質・用途） Q14 一色家の固有魔法「神経電流撹乱（神経撹乱）」について、一条家では誰が使えず、誰がその適性を受け継いでいますか？ 一条美登里は使えず、長女の一条茜がその適性を受け継いでいる。 人物関係対応（家系継承） Q15 「トーラス・シルバー」に関して、司波達也がその名で製品を世に送り出す際に組んでいる人 物と、その正体を確信した第一高校の生徒をそれぞれ答えてください。 組んでいる人物は牛山欣治で、正体を確信した第一高校の生徒 は中条あずさ。 複合文脈統合 Q12

RAGの基本フロー Embedding ベクトル DB 生データ 検索 Embedding Retriever コンテキスト 回答 質問 図参照： https://www.techfirm.co.jp/blog/vector-database https://g-gen.co.jp/useful/General-tech/llm-ai/ https://blog-ja.allganize.ai/allganize_rag-1/ システム プロンプ ト

• https://blog-ja.allganize.ai/allganize_rag-1/

Agentic RAGの基本フロー ※ LLMがフローの中で Agent として働く ※LLM ※LLM ※LLM

RAG 5回シリーズ：完成版コード 4本の正本化と再現性検証 完成版化の方針 再現性検証の到達点 ・シリーズ5回を通して再利用できる正本コードへ整理 「完全版 / all-api版」の4本に圧縮 ・「単問 / 一括」× ・APP_CONFIGを仕様入口として設定条件を一元管理 ・Embedding切替後も同一条件の検索コンテキストは再現 ・05-1 v4 / 05-2 でQ15コンテキスト署名・長さが一致 ・v2 Q15は全実行で正解、 fixed の隠れバグを修正 retriever 完成版コード 4本の正本群 回答形式 版 単問回答 完全版（local＋API） Ruri＋OpenAI API 2種 Qwen3-8B＋API models 講師デモ・Q15単問・条件確認 単問回答 all-api版（APIのみ） OpenAI API 2種 API modelsのみ 受講者向け・環境依存を減らす 一括回答 完全版（local＋API） Ruri＋OpenAI API 2種 Qwen3-8B＋API models 本番実験母艦・詳細ログ確認 一括回答 all-api版（APIのみ） OpenAI API 2種 API modelsのみ 一括実験・安定実行・配布候補 Embeddings 設定条件の一元管理 ・default_embedding_model_name / embedding_model_choicesを共通語彙化 ・完全版は local＋API、all-api版はAPIのみと役割を明確化 ・UI初期値・選択肢・実処理・ログ条件を APP_CONFIGに同期 主用途 Generators 繰り返し再現性実験と隠れバグ修正 ・表示 600/50/5に対し、初回 fixed retrieverが300/50/5だった不整合を特定 ・v2で初回から 600/50/5に同期し、OpenAI → Ruri → OpenAIを反復確認 ・同一 Embedding内のrank / source / content / 長さの完全一致を確認 4本を「シリーズ 5回を通して再利用できる完成版正本」として固定

第5回RAGハンズオン ミニベンチマークデータセット で RAG実験方法を学ぼう ハンズオン用アプリ “AgenticRAG統合一括回答アプリ ” で 自由に RAG実験を体験

公開 RAGベンチマーク https://huggingface.co/datasets/allganize/RAG-Evaluation-Dataset-JA

• https://huggingface.co/datasets/allganize/RAG-Evaluation-Dataset-JA

ITミニベンチマーク 5問 質問 Q1 Q2 Q3 用語辞書および語彙を作成するた めの工程を具体的に示してくださ い。 日本企業のパーソナルデータ活用率 について、諸外国と比べてどのよう な傾向があるか。 販売する業務システムのマニュアル を外部業者に委託する予定です。こ れは下請法の対象になりますか？ データセンター事業者ではない所有 Q4 者の建物を間借りして、データセン ファイ ル種別 ータ項目の用語辞書を作成します。続いて、データ項目の値を抽出し て整理し、値の用語辞書（値リスト）を作成します。そして、データ 000096537.pdf 項目用語の表記と相互の関連性を定義し、用語が取りうる値リストを 問題タイプ pdf 手順説明型 定め、語彙を作成します。 企業におけるパーソナルデータの活用状況について、活用していると 回答した企業は日本では52.8%でした。一方、米国では活用してい る企業の割合は81.9%、ドイツ77.0%、中国92.6%と、日本に比べ 数値比較型 01point.pdf pdf 06_info-services_soft.pdf pdf Yes/No判断型 2023_01benchmark.pdf pdf 条件分岐型 report.pdf pdf 指示遵守・列挙型 て大幅に活用が進んでいます。 商品に付属するマニュアルの印刷を委託することは、製造委託に該 当し、下請法の対象となります。 建物を貸しているオーナーは、データセンター業のベンチマーク制 度の対象外です。一方、建物を間借りしてデータセンター業を営む ベンチマーク指標の報告対象になり す。ただし、建物・付帯設備に関するエネルギー管理権原を有して AIが社内業務の効率化の活用例とし て、翻訳、文案作成の他に3つの例 文章チェック、効率化、自動化が挙げられます。 を挙げてください。 ターゲット ファイル 既存データの分析として、ますデータ項目の用語を抽出し整理し、デ ター事業を行っています。この場合、 事業者は、原則としてテナント部分についてPUEを算出し報告しま ますか？ Q5 正答 いない場合は対象外となります。

実験シート事例

独自 Llm-as-a-judge アプリ（ 9月に配布予定） ９月の第２期６回目では、独自の答え 合わせアプリを配布予定

9 回+1 シリーズ：RAG の基礎から実践まで 第一部 基礎編：RAGの仕組みを理解して改善し続けよう 1回目 作る 動いて中身も見える RAGアプリ ・Retriever / Prompt / LLM ・ログ run_id）保存 （・Gradioで体験 2回目 測る Ragas × LangSmith ・検索と生成を分解 ・Faithfulness / Relevance ・悪い例を追跡 3回目 改善する chunk & prompt 戦略 / Advanced RAG ・chunk_size / overlap ・当たりチャンク探索 ・改善の再現性 7/21(火) 予定 4回目 選択 タスクに応じた generator 選択 / API 利 用 ・Embedding選択 ・API利用 ・モデルサイズ選択 5回目 自律化 LangGraph / Agentic RAG ・検索 / 推論 / 生成 ・ループで精度改善 ・運用に近い形へ 第二部 実践編：現場で扱うための拡張と運用 GPU 効率利用 LLM 量子化 （8月予定） 6回目 7回目 8回目 9回目 MLOpsを組み込んだ実 用的なRAGｼｽﾃﾑ （12月予定） 評価と基盤固め 目をもつ 関係を知る 評価法／検索システム ／データ前処理 VLM RAG （10月予定） Graph RAG （11月予 （9月予定） 定） 運用

9 回 +1 シリーズ：RAG の基礎から実践まで 第一部 基礎編：RAGの仕組みを理解して改善し続けよう 1回目 4回目 3回目 2回目 作る 7/21(火) 予定 選択 改善する 測る タスクに応じた 動いて中身も見える RAGアプリ chunk & prompt 戦略 /選択 / API 利 generator Advanced RAG （・Gradioで体験 ・当たりチャンク探索 ・改善の再現性 導 入Ragas × ・ Faithfulness / Relevance ・検索と生成を分解 LangSmith ・ログ run_id）保存 ・Retriever / Prompt / LLM ・悪い例を追跡 ソリュ 用 ーション・Embedding 選択 ・chunk_size / overlap ・API利用 ・モデルサイズ選択 5回目 自律化 LangGraph / Agentic RAG技術紹介 ・検索 / 推論 / 生成 ・ループで精度改善 ・運用に近い形へ 第二部 実践編：現場で扱うための拡張と運用 GPU 効率利用 LLM 量子化 6回目 評価と基盤固め ソ 評価法／検索システム／データ前処理 リューション（9月予定） （8月予定） 7回目 目をもつ 8回目 関係を知る VLM RAG技術紹介（Graph 11月予定） RAG （10月予 定） 9回目 運用 MLOpsを組み込んだ実 実運用 用的な RAG ｼｽﾃﾑ （12月予定）

APPENDIX

「どう動くか」を変えるだけで、RAGの結果は大きく変わる Basic RAG Agentic RAG 検索 → 文脈 → 回答 検索 → 判定 → 再検索 → 回答 文脈が足りなくてもそ のまま終わりやすい 今回の 5問 3/5 足りなければ検索語を変 えて探し直せる Anthropic一次情 報との整合 静的な retrieval だけで なく 多段探索・動的探索を 重視 今回の 5問 5/5 検索精度の改善だけでなく、振る舞いの設計も効く 今回の結果はその 方向性と一致

Anthropicの方向性と、今回の Agentic RAG 実験結果 1. 従来の RAG 2. Agentic RAG 近いチャンクを一 度検索して、その 文脈で答える 途中で判定し、必要なら 検索語を変えてもう一度 探す static retrieval multi-step search RAGの進化は、検索精度の改善だけではない「ど う動くか」の設計でも決まる 3. 今回の実験 Basic RAG 3/5 Agentic RAG 5/5 シンプル実装でも 差が明確に出た

Agentic RAGとBasic / Advanced RAGの関係 検索ルートに絞った整理：direct answer ルートは省略 質問 → 実装の読み方 agentic_mode を判定 ↙ agentic_mode は「どう動くか」を決める rag_type は retrieve ノード内の「どう検索するか」 ↘ minimal_check current_query = 元の質問 decompose_query current_query = query_hint ↘ ↙ retrieve_fn(current_query) ↓ context 生成 を決める retrieve_fn 内で切り替わる rag_type Basic RAG Multi-Query Rerank_v1 / Rerank_v2 HyDE Hybrid Search_BM25 LLM Route ↓ judge：根拠は十分？ 不十分なら： rewrite_query → retrieve_fn で再検索 ↓ generate_answer 最終回答 この図で示すこと Basic RAG も Advanced RAG も、Agentic RAG のフロー内で は retrieve_fn の同じ位置で呼ばれる。違うのは、呼ばれた後 の検索処理の中身。 Agentic RAG は Advanced RAG を置き換えるものではなく、検索方式を retrieve ノードで呼び分ける実行制御層である。

Agentic RAG と GraphRAG の共通点と相違 どちらも「関係をたどる RAG」だが、関係構造を作るタイミングが違う Agentic RAG GraphRAG 事前構築した知識グラフをたどる 回答のたびに探索経路を組み替える 検索 判定 再検索 B 生成 A E D 足りなければ戻る Q state C trace 動的グラフ構造 静的グラフ構造 探索経路が質問ごとに変わる → 柔 軟だが 1問ごとの計算は重い 質問時は既存構造の一部をたどる → 準備は重いが 問ごとの応答は速い 1 共通点 どちらも「一回検索して終わるRAG」ではなく、関係をたどって文脈 を組み直す F

なぜ両方に LangGraph が向いているのか 違うのは「グラフをいつ作るか」だが、どちらも状態遷移そのものが本体 Agentic RAG の内部遷移 検索 判定 再検索 停止 /生成 足りなければ戻る GraphRAG の内部遷移 グラフ構築 LangGraph で見え るもの 共通の見え方 開始ノード 部分グラフ 文脈 /生成 検索・判定・再検索・停止、あるいは開始ノード・部分グラフ・文脈組立とい った「状態遷移」がそのまま可視化される どちらも関係をたどるRAG。 違うのは、関係構造をその場で作るか、先に作るか。 実務上の違い 結論 Agentic は 1問ごとに重い。 Graph は前処理が重いが応答は速い。 第5回と第7回を並べると、探索系RAGの発 展形が立体的に見える。

RAGの仕組みを理解して改善し続けよう 〜 LangChain Family × GradioによるRAGアプリ開発 〜 第１回：動いて中身も見える RAGを作って触ろう 〜 LangChainで基本RAGアプリ開発 〜 第２回： RAGを測るモノサシを作ろう 〜 Ragas × LangSmithでRAG評価アプリ開発 〜 第３回：RAGを最適化しよう 〜 チャンクとプロンプトの戦略＋アドバンス RAGアプリ開発 〜 第４回： RAGの頭脳を選択しよう（改訂版） 〜 タスクに応じた generator 選択 / API 利用 〜 第５回：進化系 RAGに挑戦 〜 LangGraphでAgentic RAG開発 〜