GNN-RAG：用于大规模语言模型推理的图神经网络检索

May, 2024

GNN-RAG：用于大规模语言模型推理的图神经网络检索

GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning

Costas Mavromatis, George Karypis

TL;DR本文介绍了 GNN-RAG，一种将 LLMs 的语言理解能力与 GNNs 的推理能力以检索增强生成（RAG）风格相结合的新方法。通过 GNN 在稠密的 KG 子图上推理，提取连接问题实体和答案候选的最短路径，将其转化为 LLM 推理的输入。实验证明，GNN-RAG 在 WebQSP 和 CWQ 这两个广泛使用的 KGQA 基准测试中取得了最先进的性能，在 7B 调整的 LLM 上胜过或与 GPT-4 性能相匹配。此外，GNN-RAG 在多跳和多实体问题上表现出色，其答案 F1 得分超过竞争方法 8.9-15.5%。

Abstract

knowledge graphs (KGs) represent human-crafted factual knowledge in the form of triplets (head, relation, tail), which collectively form a graph. Question Answering over KGs (kgqa) is the task of answering natura

knowledge graphs question answering graph neural networks retrieval-augmented generation kgqa

发现论文，激发创造

QA-GNN: 用语言模型和知识图谱进行问答推理

该研究提出了一种新模型 QA-GNN，通过关联系统知识图和语言模型，实现对问题与答案之间的共同推理，并取得了在常识和生物医学领域 QA 测试中优于现有模型的表现。

Apr, 2021

KG-RAG: 知识与创造之间的桥梁

该论文介绍了一种名为 KG-RAG（知识图谱 - 检索增强生成）的框架，通过将结构化的知识图谱与 LLMs 的功能集成，显著减少对 LLMs 潜在知识的依赖，从而提高 LLM 的知识能力。通过使用一种名为 CoE（Chain of Explorations）的算法，利用 LLMs 的推理能力在知识图谱中顺序地探索节点和关系，该方法较之前取得了显著减少虚构内容的结果，为发展处理知识密集型任务的智能系统提供了有希望的路径。

May, 2024

通过自学使大型语言模型能够建立知识检索索引器

该研究提出了一种名为 PG-RAG 的预检索框架，使用大量阅读材料和结构化的语境记录来构建伪图数据库，该框架在单文档和多文档的问题回答任务中表现出明显的改进，具有高性能的检索和生成能力。

May, 2024

不要忘记连接！使用基于图的再排序提升 RAG

G-RAG is a graph neural network-based reranker that combines connections between documents and semantic information to improve the performance of Large Language Model-based Retrieval Augmented Generation (RAG) systems.

May, 2024

利用知识图谱的检索增强生成模型用于客户服务问答

我们介绍了一种将 RAG 与知识图谱相结合的新型客户服务问答方法，通过保留内部问题结构和问题间关系，从历史问题中构建知识图谱用于检索，提高检索精度和解答质量。该方法在实证评估中显示，相对于基准模型，该方法在 MRR 上提升了 77.6%，在 BLEU 上提升了 0.32。我们的方法在 LinkedIn 的客户服务团队中使用了近六个月，并将平均每个问题的解决时间减少了 28.6%。

Apr, 2024

G-Retriever：文本图理解与问答的检索增强生成

给定具有文本属性的图，我们使用对话界面使用户能够与其图进行交流，在回答用户问题时提供文本回复并突出显示图的相关部分。通过开发我们的图问题回答（GraphQA）基准和集成 GNN、LLM 和 RAG 的 G-Retriever 方法，我们在多个领域的文本图任务中超越基准，而且可以适应更大的图大小并抗幻觉。

Feb, 2024

GNN2R: 弱监督下基于知识图谱的理由提供问答

本文提出了一种基于图神经网络的两步推理模型（GNN2R），可以在只有问题 - 最终答案对的弱监督下高效地提供最终答案和推理子图作为最终答案背后的理由，从而解决了知识图谱中基于多跳问题回答的解释生成问题。该模型在实验中表现出优于现有最先进方法的效果、效率和生成解释的质量。

Dec, 2023

图神经网络增强的 LLM 问题回答检索

我们提出了一种名为 GNN-Ret 的新型检索方法，利用图神经网络（GNNs）考虑段落间的相关性来增强检索过程，并通过 RGNN-Ret 处理多跳推理问题，从而提高问题回答准确率。实验结果表明，GNN-Ret 相比多次查询的强基线方法在单次查询 LLM 的问题回答准确率上更高，而 RGNN-Ret 进一步提高了准确率，在 2WikiMQA 数据集上的准确率提高了 10.4%。

Jun, 2024

三元组检索的图式推理问答

提出了一种简单而有效的方法来检索和重新排序与问题回答相关的三元组，并将它们与问题连接以提高语言模型的表现，实验结果显示，其在常识问答和开放式书本问答数据集上均表现优于现有的最佳方法。

May, 2023

从本地到全球：一种面向查询的图形 RAG 方法进行摘要

使用图形增强生成（Graph RAG）方法结合知识源和查询集中的总结方法，能够在大规模语言模型中回答关于私人文档集合的全局问题，提高生成答案的完整性和多样性。

Apr, 2024