噪声的力量:为 RAG 系统重新定义检索
大型语言模型(LLMs)在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成(RAG)是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式,总结了三种范式:Naive RAG,Advanced RAG 和 Modular RAG。同时,它提供了 RAG 的三个主要组成部分:检索器、生成器和增强方法的摘要和组织,以及每个组件的关键技术。此外,论文讨论了如何评估 RAG 模型的有效性,并介绍了两种 RAG 的评估方法、重点指标和能力,以及最新的自动评估框架。最后,从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。
Dec, 2023
Retrieval-Augmented Generation (RAG) 是一种合并检索方法和深度学习技术的方法,旨在通过动态整合最新的外部信息解决大型语言模型(LLMs)的静态限制,并通过使用真实世界的数据提供一种成本效益的解决方案来改进 LLMs 输出的准确性和可靠性。该研究将 RAG 范式分为四个类别,并从检索的角度提供了详细的视角,同时介绍了 RAG 的演进和领域的进展。此外,该论文还提出了针对 RAG 的评估方法,并提出了面临的挑战和未来的研究方向,旨在巩固现有的 RAG 研究,明确其技术基础,并突出其扩展 LLMs 的适应性和应用潜力。
Apr, 2024
Retrieval-Augmented Generation (RAG) 系统的评估和分析框架(RGAR)提供了一种基于可测输出和已建立真实性来系统分析 RAG 系统基准的方法,并讨论了当前基准的局限性和进一步研究的潜在方向。
May, 2024
检视了检索增强型大型语言模型(RA-LLMs)的现有研究,涵盖体系结构、训练策略和应用三个主要技术视角,并介绍了此类模型的基础知识和最新进展,以及它们为大型语言模型(LLMs)带来的实际意义和应用领域的挑战和能力,最后讨论了当前的局限性和未来研究的几个有前途的方向。
May, 2024
本文提出了一种新的增强型 RAG 框架 R^2AG,通过将检索信息整合到检索增强型生成模型中,从而填补了大语言模型(LLMs)和检索器之间的语义鸿沟。
Jun, 2024
通过对 Retrieval-Augmented Generation 对大型语言模型的影响进行系统调查和评估,本文发现大型语言模型在噪音鲁棒性、负面拒绝、信息整合和对抗性鲁棒性方面存在挑战,表明在将 RAG 有效应用于大型语言模型方面仍有很长的路要走。
Sep, 2023
通过将外部知识库融入到 Retrieval-Augmented Generation (RAG) 中,提出了一种名为 Dynamic-Relevant Retrieval-Augmented Generation (DR-RAG)的两阶段检索框架,用于改善文档检索的召回率和答案的准确性,同时保持高效性,通过对检索到的文档的贡献进行分类确定相对相关的文档,实验证明 DR-RAG 能显著提高答案的准确性,并在 QA 系统方面取得新的进展。
Jun, 2024
检索增强生成(RAG)通过为文档问答等任务提供额外的上下文大大提升了语言模型(LMs)的能力。在研究框架 RAGGED 下,我们研究了代表性的文档问答任务,观察了两种经典的稀疏和密集检索器以及四种在编码器 - 解码器和仅解码器架构中表现优异的 LMs。研究结果显示,不同的模型适用于不同的 RAG 配置,而编码器 - 解码器模型在使用更多文档时呈现出单调改进,而仅解码器模型只能有效使用小于 5 个文档,尽管其上下文窗口通常更长。此外,RAGGED 还揭示了 LMs 的上下文利用习惯,其中编码器 - 解码器模型更依赖上下文,并且对于检索质量更为敏感,而仅解码器模型则更倾向于依赖训练中记忆的知识。
Mar, 2024
学习改进查询以实现检索增强生成,通过加入外部相关文档,使模型具备显式重写、分解和消歧的能力,并在各种问题回答数据集中取得了优于现有方法的表现。
Mar, 2024
我们提出了一个新的桥接模型,并验证了 RAG 中检索器的排序和选择假设,并提出了一个将监督学习和强化学习连接起来的培训框架,在问答和个性化生成任务中证明了我们方法的有效性。
Jan, 2024