大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在LLMs回答问题之前从外部知识库中检索相关信息。该论文概述了LLMs时代RAG的发展范式，总结了三种范式：Naive RAG，Advanced RAG和Modular RAG。同时，它提供了RAG的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估RAG模型的有效性，并介绍了两种RAG的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和RAG的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

Dec, 2023

检索增强生成（RAG）通过为文档问答等任务提供额外的上下文大大提升了语言模型（LMs）的能力。在研究框架RAGGED下，我们研究了代表性的文档问答任务，观察了两种经典的稀疏和密集检索器以及四种在编码器-解码器和仅解码器架构中表现优异的LMs。研究结果显示，不同的模型适用于不同的RAG配置，而编码器-解码器模型在使用更多文档时呈现出单调改进，而仅解码器模型只能有效使用小于5个文档，尽管其上下文窗口通常更长。此外，RAGGED还揭示了LMs的上下文利用习惯，其中编码器-解码器模型更依赖上下文，并且对于检索质量更为敏感，而仅解码器模型则更倾向于依赖训练中记忆的知识。

Mar, 2024

Retrieval-Augmented Generation (RAG)是一种合并检索方法和深度学习技术的方法，旨在通过动态整合最新的外部信息解决大型语言模型（LLMs）的静态限制，并通过使用真实世界的数据提供一种成本效益的解决方案来改进LLMs输出的准确性和可靠性。该研究将RAG范式分为四个类别，并从检索的角度提供了详细的视角，同时介绍了RAG的演进和领域的进展。此外，该论文还提出了针对RAG的评估方法，并提出了面临的挑战和未来的研究方向，旨在巩固现有的RAG研究，明确其技术基础，并突出其扩展LLMs的适应性和应用潜力。

Apr, 2024

检视了检索增强型大型语言模型（RA-LLMs）的现有研究，涵盖体系结构、训练策略和应用三个主要技术视角，并介绍了此类模型的基础知识和最新进展，以及它们为大型语言模型（LLMs）带来的实际意义和应用领域的挑战和能力，最后讨论了当前的局限性和未来研究的几个有前途的方向。

May, 2024

Retrieval-Augmented Generation (RAG)系统的评估和分析框架（RGAR）提供了一种基于可测输出和已建立真实性来系统分析RAG系统基准的方法，并讨论了当前基准的局限性和进一步研究的潜在方向。

May, 2024

通过研究现有的 RAG 方法及其潜在组合，我们提出了几种既能兼顾性能又能提高效率的 RAG 策略，并证明多模态检索技术能显著增强对视觉输入的问答能力，并使用“检索即生成”策略加速多模态内容的生成。

Jul, 2024

大型语言模型和检索增强生成技术在各个领域取得巨大成功，但仍存在幻觉问题、知识更新问题和缺乏领域专长等关键问题。本文回顾了检索增强生成技术的显著技术，特别是在检索器和检索融合方面，并提供了教程代码以实现这些代表性技术。此外，本文讨论了检索增强生成技术的训练方法和应用，并探讨了其未来发展方向和挑战。

Jul, 2024

本研究解决了检索增强生成（RAG）系统中上下文窗口大小对生成质量的影响这一问题。通过系统实验，我们提出了一个新的超参数——上下文窗口利用，以优化文本块大小，平衡上下文信息的充分性与无关信息的最小化。研究结果表明，选择合适的文本块大小可以显著提升RAG系统的性能。

Jul, 2024

本研究针对检索增强生成(RAG)系统的可信性问题进行探讨，这是一项在大型语言模型(LLMs)发展中日益重要的研究领域。我们提出了一个统一框架，从事实性、鲁棒性、公平性、透明性、问责性和隐私六个维度评估RAG系统的可信性，并通过文献回顾和基准评估，为提高RAG系统在实际应用中的可信性提供了实用见解和未来研究的挑战。

Sep, 2024

本文针对如何使用PDF文档作为主要数据源开发检索增强生成（RAG）系统进行了经验报告，填补了相关研究的空白。该研究提出了一种将大型语言模型的生成能力与信息检索的精确性相结合的新方法，并详细说明了从数据收集到响应生成的完整流程，强调了技术挑战及实用解决方案。研究结果显示，此方法能显著提升生成模型在处理特定领域知识和实时信息检索中的可靠性。

Oct, 2024