多跳 - RAG: 用于多跳查询的检索增强生成的基准测试
通过使用数据库过滤和对 LLM 提取的元数据,Multi-Meta-RAG 方法改进了 RAG 在多跳问题上的表现,从而提高了从各种来源中选择相关文档的准确性。
Jun, 2024
通过对 Retrieval-Augmented Generation 对大型语言模型的影响进行系统调查和评估,本文发现大型语言模型在噪音鲁棒性、负面拒绝、信息整合和对抗性鲁棒性方面存在挑战,表明在将 RAG 有效应用于大型语言模型方面仍有很长的路要走。
Sep, 2023
大型语言模型(LLMs)在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成(RAG)是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式,总结了三种范式:Naive RAG,Advanced RAG 和 Modular RAG。同时,它提供了 RAG 的三个主要组成部分:检索器、生成器和增强方法的摘要和组织,以及每个组件的关键技术。此外,论文讨论了如何评估 RAG 模型的有效性,并介绍了两种 RAG 的评估方法、重点指标和能力,以及最新的自动评估框架。最后,从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。
Dec, 2023
学习改进查询以实现检索增强生成,通过加入外部相关文档,使模型具备显式重写、分解和消歧的能力,并在各种问题回答数据集中取得了优于现有方法的表现。
Mar, 2024
通过在医学问答数据集上的大规模实验,我们提出了一种基于检索增强生成的评估框架 MIRAGE,以改善大型语言模型在医学领域中的表现,并通过引入 MedRAG 工具包提高了六个不同语言模型的准确性,最高可达到 18%,将 GPT-3.5 和 Mixtral 的性能提升至 GPT-4 级别。
Feb, 2024
该研究提出了一种名为 PG-RAG 的预检索框架,使用大量阅读材料和结构化的语境记录来构建伪图数据库,该框架在单文档和多文档的问题回答任务中表现出明显的改进,具有高性能的检索和生成能力。
May, 2024
通过引入多个分区范例(称为 M-RAG),每个数据库分区作为 RAG 执行的基本单位,本文在 Retrieval-Augmented Generation(RAG)的基础上提出了一个新的框架,利用多智能体强化学习优化不同的语言生成任务。通过在七个数据集上进行的综合实验,涵盖三个语言生成任务和三种不同的语言模型架构,我们证实了 M-RAG 相对于各种基准方法的持续优势,分别在文本摘要、机器翻译和对话生成方面取得了 11%、8%和 12%的改进。
May, 2024
整合外部知识到大型语言模型输出,文献调研主要集中于最新方法与之前方法的比较,缺乏广泛的实验比较。本研究通过评估不同检索增强生成方法对检索精度和答案相似性的影响来填补这一空白。研究发现,Hypothetical Document Embedding (HyDE) 和大型语言模型重排能显著提高检索精度。然而,Maximal Marginal Relevance (MMR) 和 Cohere 重排在基线 Naive RAG 系统上没有明显优势,而 Multi-query 方法表现不佳。句窗检索为最有效的检索精度方法,尽管在答案相似性上表现不稳定。研究证实文件摘要索引作为一种有效的检索方法。欢迎学术界进一步探索 RAG 系统的研究,相关资源可通过我们的 GitHub 资源库 ARAGOG 进行进一步调查。
Apr, 2024
大型语言模型(LLMs)在医疗应用中具有重要潜力,而检索增强生成(RAG)被认为是一种有前景的方法来定制 LLMs 中的领域知识。该研究通过开发和评估一个专门针对医疗保健领域、特别关注术前医学的 LLM-RAG 流程,验证了其可行性。
Jan, 2024
检验检索增强生成(RAG)在多语言环境下的性能,发现任务特定的提示工程和调整评估指标是必要的,同时解决非拉丁字母语言中经常发生的代码切换、流畅性错误、提供文档的错误阅读或无关的提取等问题。
Jul, 2024