RAG
244 Views
December 05, 25
スライド概要
RAG勉強しないとって思ってる人向けにはったりをかませるようになるための資料です。
関連スライド
各ページのテキスト
RAG Retrieval-Augmented Generation ashphy @[email protected] 2025/12/5
本日の目標 ● RAGに関して知ったかでしゃべれるようになる ● LLMを利用したアプリの精度向上をどこから始めればいいか分かる
Agenda ● RAGの復習 ● 様々な最適化手法 RAG From Scratch
LLMアプリの精度向上
どういう順番で精度向上を行うべき？ A Survey of Techniques for Maximizing LLM Performance
RAGの復習
ハルシネーション（幻覚） 無意味か、根拠ない情報から生成された応答を返す現象 ● LLMは最新の情報を知らない ○ Knowledge Cutoff: 学習データの最終更新日時 ■ 例: Gemini 3 Pro → 2025年1月
ハルシネーション（幻覚） ● 存在しないものを存在しているかのように聞かれると、それっぽい答えを 生成してしまう
学習していないデータは知らない
どうすればいい？ プロンプトに情報を追加する プロンプト 現在の日本の首相は？ 以下の情報を元に答えてください。 <info> <info> 歴代内閣 歴代内閣 第104代 令和7年10月21日～現在（在職41日） 第104代 高市早苗 高市早苗 令和7年10月21日～現在（在職41日） 第103代 令和6年11月11日～令和7年10月21日（在職345日、通算386日） 第103代 石破茂 石破茂 令和6年11月11日～令和7年10月21日（在職345日、通算386日） 第102代 石破茂 石破茂 令和6年10月1日～令和6年11月11日（在職42日） 第102代 令和6年10月1日～令和6年11月11日（在職42日） 第101代 岸田文雄 岸田文雄 令和3年11月10日～令和6年10月1日（在職1,057日、通算1,094日） 第101代 令和3年11月10日～令和6年10月1日（在職1,057日、通算1,094日） 第100代 岸田文雄 岸田文雄 令和3年10月4日～令和3年11月10日（在職38日） 第100代 令和3年10月4日～令和3年11月10日（在職38日） 第99代 菅義偉 菅義偉 令和2年9月16日～令和3年10月4日（在職384日） 第99代 令和2年9月16日～令和3年10月4日（在職384日） </info> </info> LLM 応答 現在の日本の首相は高市早苗（第104代）です。
Grounding 外部の情報源を用いて回答すること ● Web検索 ● 天気、株価などのAPI ● 自前のデータの検索 → RAG Google AI Studio
RAG Retrieval-Augmented Generation 検索 拡張 生成 情報源 質問 検索 回答生成 検索し、知識を追加し、答えを生成する
基本的な検索手法
キーワード検索 ● ElasticSearch、RDBMS ● 転置インデックス + TF-IDF / BM25 検索キーワード: 猫 吾輩は猫である 文字列が一致するものを探す
セマンティック検索 単語そのものではなく意味にもとづいて検索する 検索キーワード: パフォーマンス ブラウザが重い
機械が意味を理解する仕組み 分布意味論 (Distributional Semantics) 単語の意味はそれが出現した周囲の単語（文脈）によって決まる 意味が近い このバナナはとても甘い このりんごはとても甘い 周囲に現れる単語の分布が近い
埋め込み表現 (Embedding) 単語や文章の意味を高次元のベクトル表現に変換した物 Sutor, Peter, Yiannis, Aloimonos, Cornelia, Fermuller, Douglas, Summers-Stay. "Metaconcepts: Isolating Context in Word Embeddings." 2019 IEEE Conference on Multimedia Information Processing and Retrieval (MIPR). 2019.
ベクトル表現の類似度 ベクトルとベクトルのなす角が小さい＝意 味が近い θ コサイン類似度
質問に似ているドキュメントを探す ドキュメント 質問
Vector Search / Naive RAG / Dense Retrieval 情報源からEmbeddingを作成してDBに格納し検索する 分割 情報源 Embedding ベクトルDB 質問 検索 LLM回答生成
RAGのチューニングポイント チャンク(Chunk)サイズ 分割 ● 情報源 ● 小さいと ○ 必要な文章が途中で途切れてしまうので 文脈が欠けてしまう 大きいと ○ 文の平均的な意味なので意味がぼける ○ コンテキストウィンドウを圧迫する
RAGのチューニングポイント Embedding モデル ● 分割 Embedding ● 次元数が ○ 小さい ■ 表現力が低い ■ 検索が速い ○ 大きい ■ 表現力が高い ■ 検索が遅い ■ 次元の呪いの影響を受けやすくなる 言語によって性能差がある
RAGのチューニングポイント 取得ドキュメント数 類似度順に複数個のドキュメントを取得する Embedding ベクトルDB 検索 ● 取得数が少ない ○ 検索漏れが起きる可能性 ● 取得数が多い ○ 関係ない文章が混ざる ○ コンテキストを圧迫する
RAGの精度 検索結果 不正確 正確 正確 回答 不正確 Optimizing LLM Accuracy
ハイブリッド検索 キーワード検索 + セマンティック検索 BM25 RFF (Reciprocal Rank Fusion) クエリ ベクトル検索 検索結果 両方の検索結果の順位の逆数を足し合わせ 最終スコアにする https://learn.microsoft.com/en-us/azure/search/hybrid-search-ranking
さまざまな最適化手法
Indexing インデックス作成
Semantic Splitter (Chunker) ## 製品導入の背景 分割 情報源 文字数で分割すると中途半端なところで分 割される可能性がある 当社では、ユーザーが必要な情報へ迅速にアクセスできる仕組 みを強化するために、新しい検索基盤の導入を検討している。 既存システムではキーワード一致に依存しており、文脈を踏ま えた検索が難しいという課題があった。そのため、より高度な意 味理解に基づく検索モデルの採用が必要とされた。 ## モデル運用時の考慮点 検索精度を最大化するためには、モデルが参照するドキュメン トを適切に分割し、意味単位で処理できる状態にしておくことが 重要である。特に長文の場合、テーマが複数含まれることが多 く、無造作な固定長分割では情報が断片化してしまう。 Semantic Splitterは内容のまとまりを自動的に判断し、適切 なチャンクとして切り出す手法として有効である。 HTMLやMarkdownの文章を章や段落単位で分割する
Multi-representation indexing テキスト以外のPDFやスライドなどを使いたい ● Unstructured ○ Pythonのライブラリ / SaaS ● Azure Document Intelligence ● markitdown ○ PDF/PowerPoint/Word/ExcelをMarkdownに変換する ● YomiToku ○ 日本語に特化した AI 文章画像解析エンジン
Multi-representation indexing テキスト以外の画像、表、音声などの様々なデータをRAGに使いたい 要約で検索して 生データを返す マルチモーダルLLMで要約を生成する Multi-Vector Retriever for RAG on tables, text, and images
Query Translation クエリ変換
仮説的文書埋め込み HyDE (Hypothetical Document Embeddings) ベクトル検索だと ○ 質問が短いとき ○ 質問が曖昧なとき うまく探せないことがある 検索する前に質問に対して 仮回答文 を生成し、 その文章を使ってベクトル検索を行う
仮説的文書埋め込み HyDE (Hypothetical Document Embeddings) 質問 質問 親知らずを抜くのにどれくらいかかりますか？ プロンプト 仮回答生成 この質問に答えるための文章を書いてください 仮回答 通常親知らずを抜くのに30分から2時間かかります。 検索結果 ベクトル検索 親知らずの抜歯は数分で終わる場合もあれば、20分以上... 回答結果 回答生成 親知らずの抜歯方法は... 数分で終わる場合もあれば、20 分 以上かかる場合もあります。 Luyu Gao, , Xueguang Ma, Jimmy Lin, Jamie Callan. "Precise Zero-Shot Dense Retrieval without Relevance Labels." (2022).
Q to Q strategy ● Question to Paragraph (一般的なRAG) ○ 質問から文章を探すアプローチ ● Question to Question ○ 質問から質問を探すアプローチ ○ 情報源から想定質問を生成しDBに格納する ■ うまく想定質問が作るのが鍵 Eric Yang, , Jonathan Amar, Jong Ha Lee, Bhawesh Kumar, Yugang Jia. "The Geometry of Queries: Query-Based Innovations in Retrieval-Augmented Generation for Healthcare QA." (2025).
Rewrite-Retrieve-Read Xinbei Ma, , Yeyun Gong, Pengcheng He, Hai Zhao, Nan Duan. "Query Rewriting for Retrieval-Augmented Large Language Models." (2023).
RAG-Fusion LLMがN個クエリを生成 ベクトル検索 関連度順に並び替え 単一クエリでは拾えない文書を拾うことができる Rackauckas, Zackary. "Rag-Fusion: A New Take on Retrieval Augmented Generation". International Journal on Natural Language Computing 13. 1(2024).
Generation 生成
Self-RAG (Self-Reflection RAG) 自分の回答を自分で評価修正する Akari Asai, , Zeqiu Wu, Yizhong Wang, Avirup Sil, Hannaneh Hajishirzi. "Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection." (2023).
Retrieval 検索
CRAG (Corrective RAG) 不正確なドキュメントを検索してしまうと解 答を間違える Shi-Qi Yan, , Jia-Chen Gu, Yun Zhu, Zhen-Hua Ling. "Corrective Retrieval Augmented Generation." (2024).
CRAG (Corrective RAG) 検索結果評価器 検索結果を評価し、間 違っていたら再検索 Shi-Qi Yan, , Jia-Chen Gu, Yun Zhu, Zhen-Hua Ling. "Corrective Retrieval Augmented Generation." (2024).
PersuaBot Kazuaki Furumai, , Roberto Legaspi, Julio Vizcarra, Yudai Yamazaki, Yasutaka Nishimura, Sina J. Semnani, Kazushi Ikeda, Weiyan Shi, Monica S. Lam. "Zero-shot Persuasive Chatbots with LLM-Generated Strategies and Information Retrieval." (2024).
PersuaBot 応答内の根拠のない主張を、抽出された戦略を裏付ける取得された事実に置き換える 質問: …Save the Children の活動内容を教えてください。 1. LLM生成 2. 戦略抽出 3. ファクトチェック & 情報検索 Save the Children（セーブ・ザ・チルドレン）は、 100 か国以上で活動する国際的な組織です。最 も感動的なストーリーのひとつは、マリアという少 女についてです。彼女は極度の貧困の中で暮ら しており、家族を助けるために学校を中退せざる を得ませんでした。セーブ・ザ・チルドレンの教育 プログラムのおかげで、彼女は学校に戻ることが できました。 あなたの寄付は、マリアのように夢を叶える子ど もたちをもっと助けることができます。 組織の活動範囲と影響力を共有する インパクトのあるストーリーを語る 寄付の効果を強調する ファクトチェック 支持されない 検索せずに仮回答を生成 文章をいくつかの塊に分け、戦 略を抽出 事実で 検索クエリ Save the Children に救われた子ども の感動的なストーリー 置き換 える 検索結果 マハ（10歳）とその姉マヤ（16歳）は、地 雷によって負傷した … 戦略ごとにファクトチェック Kazuaki Furumai, , Roberto Legaspi, Julio Vizcarra, Yudai Yamazaki, Yasutaka Nishimura, Sina J. Semnani, Kazushi Ikeda, Weiyan Shi, Monica S. Lam. "Zero-shot Persuasive Chatbots with LLM-Generated Strategies and Information Retrieval." (2024).
Enhancing RAG Pipelines with Re-Ranking | NVIDIA Technical Blog Rerankers and Two-Stage Retrieval | Pinecone Re-Ranking ベクトル検索で取得した候補をより精密なモデルで再評価し、関連度の高い順 に並び替える リランキング ベクトル検索 関連度 精度が高い コサイン類似度 質問 情報 高速に計算できる Re-Ranking モデル 質問と情報に関連があるかどうか を調べる 事前に構築できる 質問 精度が高くない 情報 すべての情報に対して都度計算する必要がある
Re-Ranking リランキング モデル 情報源 Embedding ベクトルDB 質問 検索 少数の情報に対しリランキングモデルで関連 度を算出 網羅性を重視し多めに取得 リランキング 回答生 成 関連度順に並び替え
Re-Rankingモデル ● Cohere ReRank 3.5 ○ Bedrockから使える ● Elastic Rerank ○ Elastic Search が出してるモデル ● Voyage AI rerank-2.5 ○ MongoDBが出してるモデル ● LLM-based reranker ○ 普通のLLMをリランカーとして使う Abdelrahman Abdallah, , Bhawna Piryani, Jamshid Mozafari, Mohammed Ali, Adam Jatowt. "How Good are LLM-based Rerankers? An Empirical Analysis of State-of-the-Art Reranking Models." (2025).
RAGじゃないもの
CAG (Cached Augmented Generation) コンテキストにすべての知識を置いておきLLMに検索させる。 Q: コンテキストに入り切らないときは？ A: あきらめる Chan, Brian J., Chao-Ting, Chen, Jui-Hung, Cheng, Hen-Hsen, Huang. "Don’t Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks." Companion Proceedings of the ACM on Web Conference 2025. ACM, 2025.
Lost in the Middle Nelson F. Liu, , Kevin Lin, John Hewitt, Ashwin Paranjape, Michele Bevilacqua, Fabio Petroni, Percy Liang. "Lost in the Middle: How Language Models Use Long Contexts." (2023).
Structured Retrieval
Metadata Filtering 例：ソフトウェアのマニュアルを検索する場合 質問 古いドキュメントを検索してしまう v5 最新版 v4 古い ドキュメントにメタデータを付加 し、その情報でフィルタリングし た上でベクトル検索を行う
階層構造データ取得 構造化データによる検索の強化 Parth Sarthi, , Salman Abdullah, Aditi Tuli, Shubh Khanna, Anna Goldie, Christopher D. Manning. "RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval." (2024).
Knowledge Graph グラフ Graph ノードとそれらを結ぶ線からなる構造 ノード ノード ノード ノード Ji, Shaoxiong, Shirui, Pan, Erik, Cambria, Pekka, Marttinen, Philip S., Yu. "A Survey on Knowledge Graphs: Representation, Acquisition, and Applications". IEEE Transactions on Neural Networks and Learning Systems 33. 2(2022): 494–514.
Knowledge Graph 機械に理解できる形でグラフを用いて要素とその関係性を記述したもの https://commons.wikimedia.org/wiki/File:Knowledge_graph_entity_alignment.png
Knowledge Graphの例
GraphRAG: Retrieval-Augmented Generation with Graphs 構築されたナレッジグラフから知識を取得する ● Chunkをまたぐような関連する知識を取得することができる Haoyu Han, , Yu Wang, Harry Shomer, Kai Guo, Jiayuan Ding, Yongjia Lei, Mahantesh Halappanavar, Ryan A. Rossi, Subhabrata Mukherjee, Xianfeng Tang, Qi He, Zhigang Hua, Bo Long, Tong Zhao, Neil Shah, Amin Javari, Yinglong Xia, Jiliang Tang. "Retrieval-Augmented Generation with Graphs (GraphRAG)." (2025).
GraphRAG (Microsoft) 複数ドキュメントにまたがるような大域的な質問に答えることができる GraphRAG: Unlocking LLM discovery on narrative private data
GraphRAG (Microsoft) 複数ドキュメントにまたがるような大域的な質問に答えることができる GraphRAG: Unlocking LLM discovery on narrative private data
Path RAG Boyu Chen, , Zirui Guo, Zidan Yang, Yuluo Chen, Junze Chen, Zhenghao Liu, Chuan Shi, Cheng Yang. "PathRAG: Pruning Graph-based Retrieval Augmented Generation with Relational Paths." (2025).
Agentic RAG Agent + RAG Aditi Singh, , Abul Ehtesham, Saket Kumar, Tala Talaei Khoei. "Agentic Retrieval-Augmented Generation: A Survey on Agentic RAG." (2025). Developing an agentic RAG assistant using LangChain and Elasticsearch - Elasticsearch Labs
精度向上について
RAGの精度向上 ● 答えるのに必要な情報がなければ答えられない ● “信頼できる情報源” の品質がRAGの精度に直結する ● そもそも「検索」は難しい
ベンチマーク
Embeddingモデルの性能評価 ● MMTBE: Massive Multilingual Text Embedding Benchmark ○ MTEB Leaderboard - a Hugging Face Space by mteb ● JMTEB: Japanese Massive Text Embedding Benchmark ○ JMTEB Leaderboard
RAGベンチマーク ● J-RAGBench
参考文献
サーベイ論文 ● Chaitanya Sharma, . "Retrieval-Augmented Generation: A Comprehensive Survey of Architectures, Enhancements, and Robustness Frontiers." (2025). ● Abo El-Enen, Mohamed, Sally, Saad, Taymoor, Nazmy. "A survey on retrieval-augmentation generation (RAG) models for healthcare applications". Neural Comput. Appl. 37. 33(2025). ● Siyun Zhao, , Yuqing Yang, Zilong Wang, Zhiyuan He, Luna K. Qiu, Lili Qiu. "Retrieval Augmented Generation (RAG) and Beyond: A Comprehensive Survey on How to Make your LLMs use External Data More Wisely." (2024).
Web ● How to build a terrible RAG system ● RAG is dead, long live agentic retrieval ● A Cheat Sheet and Some Recipes For Building Advanced RAG ● Build a RAG agent with LangChain
書籍 ● 情報検索 検索エンジンの実装と評価 ● 検索システム ― 実務者のための開発改善ガイドブック