多源元 RAG: 使用 LLM 提取的元数据进行数据库过滤以改进用于多跳查询的 RAG
我们开发了一个新的数据集 MultiHop-RAG,它由知识库、大量的多跳查询、它们的真实答案和相应的支持证据组成,并详细介绍了构建数据集的过程。我们进行了两个实验来展示 MultiHop-RAG 的基准化效用,实验结果表明现有的 RAG 方法在检索和回答多跳查询上表现不尽人意。我们希望 MultiHop-RAG 能成为开发有效的 RAG 系统的有价值资源,从而促进 LLMs 在实践中的更广泛应用。
Jan, 2024
通过引入多个分区范例(称为 M-RAG),每个数据库分区作为 RAG 执行的基本单位,本文在 Retrieval-Augmented Generation(RAG)的基础上提出了一个新的框架,利用多智能体强化学习优化不同的语言生成任务。通过在七个数据集上进行的综合实验,涵盖三个语言生成任务和三种不同的语言模型架构,我们证实了 M-RAG 相对于各种基准方法的持续优势,分别在文本摘要、机器翻译和对话生成方面取得了 11%、8%和 12%的改进。
May, 2024
通过将外部知识库融入到 Retrieval-Augmented Generation (RAG) 中,提出了一种名为 Dynamic-Relevant Retrieval-Augmented Generation (DR-RAG)的两阶段检索框架,用于改善文档检索的召回率和答案的准确性,同时保持高效性,通过对检索到的文档的贡献进行分类确定相对相关的文档,实验证明 DR-RAG 能显著提高答案的准确性,并在 QA 系统方面取得新的进展。
Jun, 2024
通过利用 Transformer 的多头 attention 层的激活作为提取多方面文档的关键来提高文本生成模型的能力,使得 Multi-Head RAG 能够更准确地检索复杂查询,并通过实证评估显示在相关性方面相较于标准的 RAG 基准模型有着高达 20% 的改进。
Jun, 2024
学习改进查询以实现检索增强生成,通过加入外部相关文档,使模型具备显式重写、分解和消歧的能力,并在各种问题回答数据集中取得了优于现有方法的表现。
Mar, 2024
检验检索增强生成(RAG)在多语言环境下的性能,发现任务特定的提示工程和调整评估指标是必要的,同时解决非拉丁字母语言中经常发生的代码切换、流畅性错误、提供文档的错误阅读或无关的提取等问题。
Jul, 2024
大型语言模型(LLMs)在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成(RAG)是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式,总结了三种范式:Naive RAG,Advanced RAG 和 Modular RAG。同时,它提供了 RAG 的三个主要组成部分:检索器、生成器和增强方法的摘要和组织,以及每个组件的关键技术。此外,论文讨论了如何评估 RAG 模型的有效性,并介绍了两种 RAG 的评估方法、重点指标和能力,以及最新的自动评估框架。最后,从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。
Dec, 2023
该研究提出了一种名为 PG-RAG 的预检索框架,使用大量阅读材料和结构化的语境记录来构建伪图数据库,该框架在单文档和多文档的问题回答任务中表现出明显的改进,具有高性能的检索和生成能力。
May, 2024
提出了一种新颖的 “Collaborative Retrieval-Augmented Generation” 框架 DuetRAG,以同时整合领域微调和 RAG 模型,提高知识检索质量,从而提高生成质量。最后,在 HotPot QA 上展示了 DuetRAG 与专业人类研究人员的匹配。
May, 2024
基于 Retrieval-Augmented Generation (RAG) 方法,结合语义搜索技术,如稠密向量索引和稀疏编码器索引,以及混合查询策略,我们提出了 ' 混合 RAG' 方法。通过在 IR 数据集和 Generative Q&A 数据集上取得更好的检索结果并创造新的基准,我们进一步将这种 ' 混合 Retriever' 扩展到 RAG 系统,甚至超过 fine-tuning 性能。
Mar, 2024