【DL輪読会】GNN-RAG: Graph Neural Retrieval for Efficient Large Language Model Reasoning on Knowledge Graphs - ACL Anthology

DEEP LEARNING JP [DL Papers] GNN-RAG: Graph Neural Retrieval for Efficient Large Language Model Reasoning on Knowledge Graphs Presenter: Keito Sei http://deeplearning.jp/ 1

• http://deeplearning.jp/

書誌情報 • 論文名 – GNN-RAG: Graph Neural Retrieval for Efficient Large Language Model Reasoning on Knowledge Graphs(2025) • 著者 – Costas Mavromatis, George Karypis • 発表学会 – ACL2025 • リンク – https://aclanthology.org/2025.findings-acl.856/ 2

• https://aclanthology.org/2025.findings-acl.856/

概要 Graph RAGは知識グラフ(KG)の情報を活用し大規模言語モデルの質問 応答能力を強化するアプローチ。 本研究では、GNNをグラフ検索に活用し、LLMによるRAGの性能を 強化。GNNモデルを用いることで7BのLLMでもGPT-4の性能と同等も しくは上回る性能を達成。 • 複雑な知識グラフ検索のためのGNNとLLMフレームワークの提案 • マルチホップの質問等複雑なタスクにおいて、LLMベースの検索アプ ローチよりも上回る性能 • 既存のRAGよりも、追加のLLM呼び出しを発生させることなく精度向 上→リソースの効率化 3

研究の課題意識・目的 1. GraphRAGの現状 – – KGは複雑なグラフ情報を格納している マルチホップの質問など性格な回答を得ることが困難 2. なぜ問題か – – 従来のRAGではKGをたどるたび、LLMを呼び出すためコストがかかる KGにはノイズが多く、質問に無関係なグラフ情報が検索されると性能低下 3. 解決に向けた問い – 効率のより深いグラフ検索（遠いノードの情報）を検索し、ＬＬＭの推論を強 化できないか？ 4. 本研究のアイデア – GNNを効率なグラフ検索と活用し、GNNが質問との関連、および近隣ノー ドの関連性に基づいてノードに重要度重みを割り当て、GNNの回答候補と質 問の最短経路を自然言語に変換する 4

GNN-RAG • 検索：GNN [2] • 生成：LLM (Llama2-Chat-7B) • GNN-RAG: GNNのみをRetrievalに用いる • GNN-RAG+RA : GNNとLLMを検索に用いる – LLMは4回推論をする 5

実験設定 • モデル： Llama2-Chat-7B (fine-tuned) • GNN – ノード分類タスクとして学習を行う(正解ノードが1 になるよう) – GNNの層数6層 – RTX3090 (128GB RAM) 15分/epoch • 評価指標 – Hit • 生成された回答の中に正解が含まれているかどうか – F1 • PrecisionとRecallから計算される指標 𝐶𝑜𝑟𝑟𝑒𝑐𝑡 𝑎𝑛𝑠𝑤𝑒𝑟𝑠 𝑔𝑒𝑛𝑒𝑟𝑎𝑡𝑒 𝑎𝑛𝑠𝑤𝑒𝑟𝑠 𝐶𝑜𝑟𝑟𝑒𝑐𝑡 𝑎𝑛𝑠𝑤𝑒𝑟𝑠 𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑡𝑟𝑢𝑒 𝑎𝑛𝑠𝑤𝑒𝑟𝑠 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 ×𝑅𝑒𝑐𝑎𝑙𝑙 𝐹1 = 2 × 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+𝑅𝑒𝑐𝑎𝑙𝑙 • 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = • • 6

実験設定ーデータセットー • WebQSP – シンプルな質問 – 推論の複雑さ：最大で2hop – Subgraphに含まれるエンティティの平均数：1429.8 • CWQ – WebQSPより複雑な質問形式を含み、深い推論能力が必要 – 推論の複雑さ：最大4hop – Subgraphに含まれるエンティティの平均数：1305.8 7

実験結果① • GNNを用いた効率的な検索の優 位性を示した • ToG(Think-on-Graph)+GPT-4 – LLMを使用してKGをたどり、関連 する事実を検索します。 8

実験結果② • GNN-RAG+RAではLLMとGNNの検索により、より精度向上へ • 1hopの質問について向上 – 0.8~2.6ポイント向上 • トークン数の増加 – GNN-RAG:114トークン (中央値) – GNN-RAG+RA : 362トークン (中央値) – ロングコンテキストの検索では1442トークンよりは少ないトークン数 9

実験結果③ • 他のモデルでもGNN-RAGが有効である • ChatGPT – 2.2~5.2%の改善 • Alpaca-7B (弱いLLM) – 最大10.5%程度の精度改善 • Flan-T5-xl (最も弱いLLM) – 13.7%の精度改善 • Llama2 70B – 70Bよりも7Bを上回る性能 10

まとめ・感想① まとめ：GNNを検索に用いることで7BのLLMでも性能が向上し、GNNの検索により LLMのトークン数も削減された。 良い点 • GNNを検索に用いることで軽量や弱いLLMでも精度向上できること • GNNの検索によりコンテキストが削減されコスト面でも有効であること 限界 • GNNの推論能力が精度の頭打ちになる 11

参考文献 1. Mavromatis, Costas, and George Karypis. "Gnn-rag: Graph neural retrieval for efficient large language model reasoning on knowledge graphs." Findings of the Association for Computational Linguistics: ACL 2025. 2025. 2. Mavromatis, Costas, and George Karypis. "ReaRev: Adaptive reasoning for question answering over knowledge graphs." arXiv preprint arXiv:2210.13650 (2022). 12