更轻更好:面向灵活上下文适应的检索增强生成
大型语言模型(LLMs)在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成(RAG)是指在LLMs回答问题之前从外部知识库中检索相关信息。该论文概述了LLMs时代RAG的发展范式,总结了三种范式:Naive RAG,Advanced RAG和Modular RAG。同时,它提供了RAG的三个主要组成部分:检索器、生成器和增强方法的摘要和组织,以及每个组件的关键技术。此外,论文讨论了如何评估RAG模型的有效性,并介绍了两种RAG的评估方法、重点指标和能力,以及最新的自动评估框架。最后,从垂直优化、水平可扩展性和RAG的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。
Dec, 2023
检索增强生成(RAG)通过为文档问答等任务提供额外的上下文大大提升了语言模型(LMs)的能力。在研究框架RAGGED下,我们研究了代表性的文档问答任务,观察了两种经典的稀疏和密集检索器以及四种在编码器-解码器和仅解码器架构中表现优异的LMs。研究结果显示,不同的模型适用于不同的RAG配置,而编码器-解码器模型在使用更多文档时呈现出单调改进,而仅解码器模型只能有效使用小于5个文档,尽管其上下文窗口通常更长。此外,RAGGED还揭示了LMs的上下文利用习惯,其中编码器-解码器模型更依赖上下文,并且对于检索质量更为敏感,而仅解码器模型则更倾向于依赖训练中记忆的知识。
Mar, 2024
Retrieval-Augmented Generation (RAG)是一种合并检索方法和深度学习技术的方法,旨在通过动态整合最新的外部信息解决大型语言模型(LLMs)的静态限制,并通过使用真实世界的数据提供一种成本效益的解决方案来改进LLMs输出的准确性和可靠性。该研究将RAG范式分为四个类别,并从检索的角度提供了详细的视角,同时介绍了RAG的演进和领域的进展。此外,该论文还提出了针对RAG的评估方法,并提出了面临的挑战和未来的研究方向,旨在巩固现有的RAG研究,明确其技术基础,并突出其扩展LLMs的适应性和应用潜力。
Apr, 2024
xRAG是一种针对检索增强生成的创新上下文压缩方法,通过模态融合的方法将文档嵌入重新解释为来自检索模态的特征,并在语言模型表示空间中无缝集成这些嵌入以实现极高的压缩率。实验证明,xRAG在六个强调知识的任务中达到了平均改进10%以上,适用于各种语言模型主干结构,从密集7B模型到8x7B多专家结构。xRAG不仅显著超越了以前的上下文压缩方法,而且在减少计算量(FLOPs)的同时,与未压缩模型在多个数据集上保持了相当的性能,为未来有效和可伸缩的检索增强系统奠定了基础。
May, 2024
通过引入稀疏技术,Sparse RAG提出了一种新颖的范式,在提高生成质量的同时减少计算成本,通过并行编码检索文档并选择性地解码输出,既降低了延迟,又提升了模型的焦点和生成质量。
May, 2024
大型语言模型(LLM)的记忆扩展常常通过检索增强的生成(RAG)实现,该方法将来自更大记忆的文本插入LLM的上下文窗口。我们提出了一种基于相关信息增益的新型简单优化指标,通过优化这个指标,多样性自然地从我们的系统中出现。当用作RAG系统的检索组件的替代品时,这种方法在检索增强生成基准(RGB)的问答任务中展现出了最先进的性能,超过了直接优化相关性和多样性的现有指标。
Jul, 2024
本研究解决了检索增强生成(RAG)系统中上下文窗口大小对生成质量的影响这一问题。通过系统实验,我们提出了一个新的超参数——上下文窗口利用,以优化文本块大小,平衡上下文信息的充分性与无关信息的最小化。研究结果表明,选择合适的文本块大小可以显著提升RAG系统的性能。
Jul, 2024
本研究针对大型语言模型在电信技术标准中的不足,提出了一种基于Phi-2小型语言模型的精细调优检索增强生成系统。通过自适应语义分块和再排序算法,该系统能够有效处理多格式文档,并在推理过程中扩展上下文窗口,显著提升了针对电信领域问题解答的性能,超越了体量更大的语言模型如GPT-4。
Aug, 2024
本文针对传统检索增强生成(RAG)在长上下文语言模型(LLMs)面临的应用挑战,提出了一种新的有序保留的检索增强生成机制(OP-RAG)。研究表明,与长上下文LLMs相比,OP-RAG在长上下文问答任务中提升了答案质量,且在检索块数量适中的情况下表现最佳,显示出RAG在新环境中的潜在价值。
Sep, 2024
本研究主要解决大型语言模型(LLMs)在生成内容时面临的幻觉、知识陈旧和推理不清等问题。通过检索增强生成(RAG)技术,结合LLMs的内在知识与外部数据库,本文提出了一种新的上下文压缩范式,并分析其演变和当前挑战,为未来的研究方向指明了道路。
Sep, 2024