从本地到全球:一种面向查询的图形 RAG 方法进行摘要
通过将外部知识库融入到 Retrieval-Augmented Generation (RAG) 中,提出了一种名为 Dynamic-Relevant Retrieval-Augmented Generation (DR-RAG)的两阶段检索框架,用于改善文档检索的召回率和答案的准确性,同时保持高效性,通过对检索到的文档的贡献进行分类确定相对相关的文档,实验证明 DR-RAG 能显著提高答案的准确性,并在 QA 系统方面取得新的进展。
Jun, 2024
该研究提出了一种名为 PG-RAG 的预检索框架,使用大量阅读材料和结构化的语境记录来构建伪图数据库,该框架在单文档和多文档的问题回答任务中表现出明显的改进,具有高性能的检索和生成能力。
May, 2024
基于 Retrieval-Augmented Generation (RAG) 方法,结合语义搜索技术,如稠密向量索引和稀疏编码器索引,以及混合查询策略,我们提出了 ' 混合 RAG' 方法。通过在 IR 数据集和 Generative Q&A 数据集上取得更好的检索结果并创造新的基准,我们进一步将这种 ' 混合 Retriever' 扩展到 RAG 系统,甚至超过 fine-tuning 性能。
Mar, 2024
本文介绍了 GNN-RAG,一种将 LLMs 的语言理解能力与 GNNs 的推理能力以检索增强生成(RAG)风格相结合的新方法。通过 GNN 在稠密的 KG 子图上推理,提取连接问题实体和答案候选的最短路径,将其转化为 LLM 推理的输入。实验证明,GNN-RAG 在 WebQSP 和 CWQ 这两个广泛使用的 KGQA 基准测试中取得了最先进的性能,在 7B 调整的 LLM 上胜过或与 GPT-4 性能相匹配。此外,GNN-RAG 在多跳和多实体问题上表现出色,其答案 F1 得分超过竞争方法 8.9-15.5%。
May, 2024
该论文介绍了一种名为 KG-RAG(知识图谱 - 检索增强生成)的框架,通过将结构化的知识图谱与 LLMs 的功能集成,显著减少对 LLMs 潜在知识的依赖,从而提高 LLM 的知识能力。通过使用一种名为 CoE(Chain of Explorations)的算法,利用 LLMs 的推理能力在知识图谱中顺序地探索节点和关系,该方法较之前取得了显著减少虚构内容的结果,为发展处理知识密集型任务的智能系统提供了有希望的路径。
May, 2024
学习改进查询以实现检索增强生成,通过加入外部相关文档,使模型具备显式重写、分解和消歧的能力,并在各种问题回答数据集中取得了优于现有方法的表现。
Mar, 2024
为了解决用户在发出宽泛、开放式的查询时得到丰富的、多方面的回复的问题,我们提出了一种新颖的检索增强生成框架 ——RichRAG。该框架包括一个子方面探索器,用于识别问题中的潜在子方面;一个多方面检索器,用于构建与这些子方面相关的多样化外部文档的候选池;以及一个生成型列表排序器,它是为最终生成器提供前 k 个最有价值的文档的关键模块。经过实验证明,我们的框架能够有效、高效地为用户提供全面且满意的回复。
Jun, 2024
Retrieval-Augmented Generation (RAG) 是一种合并检索方法和深度学习技术的方法,旨在通过动态整合最新的外部信息解决大型语言模型(LLMs)的静态限制,并通过使用真实世界的数据提供一种成本效益的解决方案来改进 LLMs 输出的准确性和可靠性。该研究将 RAG 范式分为四个类别,并从检索的角度提供了详细的视角,同时介绍了 RAG 的演进和领域的进展。此外,该论文还提出了针对 RAG 的评估方法,并提出了面临的挑战和未来的研究方向,旨在巩固现有的 RAG 研究,明确其技术基础,并突出其扩展 LLMs 的适应性和应用潜力。
Apr, 2024
大型语言模型(LLMs)在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成(RAG)是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式,总结了三种范式:Naive RAG,Advanced RAG 和 Modular RAG。同时,它提供了 RAG 的三个主要组成部分:检索器、生成器和增强方法的摘要和组织,以及每个组件的关键技术。此外,论文讨论了如何评估 RAG 模型的有效性,并介绍了两种 RAG 的评估方法、重点指标和能力,以及最新的自动评估框架。最后,从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。
Dec, 2023