大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在LLMs回答问题之前从外部知识库中检索相关信息。该论文概述了LLMs时代RAG的发展范式，总结了三种范式：Naive RAG，Advanced RAG和Modular RAG。同时，它提供了RAG的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估RAG模型的有效性，并介绍了两种RAG的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和RAG的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

Dec, 2023

该研究论文介绍了一种统一的语言模型，通过将生成检索、闭书生成和RAG有机地结合，利用外部语料库处理各种知识密集型任务。该模型通过引入不同机制实现了有效的检索和生成，并在广泛使用的KILT基准测试中展现了出色的性能。

Feb, 2024

Retrieval-Augmented Generation (RAG)是一种合并检索方法和深度学习技术的方法，旨在通过动态整合最新的外部信息解决大型语言模型（LLMs）的静态限制，并通过使用真实世界的数据提供一种成本效益的解决方案来改进LLMs输出的准确性和可靠性。该研究将RAG范式分为四个类别，并从检索的角度提供了详细的视角，同时介绍了RAG的演进和领域的进展。此外，该论文还提出了针对RAG的评估方法，并提出了面临的挑战和未来的研究方向，旨在巩固现有的RAG研究，明确其技术基础，并突出其扩展LLMs的适应性和应用潜力。

Apr, 2024

检视了检索增强型大型语言模型（RA-LLMs）的现有研究，涵盖体系结构、训练策略和应用三个主要技术视角，并介绍了此类模型的基础知识和最新进展，以及它们为大型语言模型（LLMs）带来的实际意义和应用领域的挑战和能力，最后讨论了当前的局限性和未来研究的几个有前途的方向。

May, 2024

该研究提出了一种名为PG-RAG的预检索框架，使用大量阅读材料和结构化的语境记录来构建伪图数据库，该框架在单文档和多文档的问题回答任务中表现出明显的改进，具有高性能的检索和生成能力。

May, 2024

检视检索增强生成 (RAG) 方法，揭示语言模型倾向于仅依赖上下文信息来回答问题，而较少使用参数化记忆，通过因果中介分析和注意力机制等方法来证明该机械行为。

Jun, 2024

大型语言模型和检索增强生成技术在各个领域取得巨大成功，但仍存在幻觉问题、知识更新问题和缺乏领域专长等关键问题。本文回顾了检索增强生成技术的显著技术，特别是在检索器和检索融合方面，并提供了教程代码以实现这些代表性技术。此外，本文讨论了检索增强生成技术的训练方法和应用，并探讨了其未来发展方向和挑战。

Jul, 2024

本研究解决了检索增强生成（RAG）技术中对新算法缺乏全面公平比较以及现有开源工具透明度不足的问题。通过介绍RAGLAB，一个模块化的开源库，研究者可在10个基准上公平比较6种RAG算法，从而推动新算法和评估指标的发展。该框架的建立有望提升RAG方法的研究效率和成果。

Aug, 2024

本研究解决了现有检索增强生成方法在复杂问答任务中的信息获取不足和低质量答案问题。提出的自适应笔记增强检索增强生成方法通过迭代信息收集和适应性记忆审查，实现对知识的动态更新，显著提高了知识交互的质量。实验证明该方法在多个复杂问答数据集上优于现有技术，展示了其有效性和潜在影响。

Oct, 2024

本研究针对当前检索增强生成（RAG）系统在长背景处理和长文本生成评估中的不足，提出了Long²RAG基准和关键点回想（KPR）指标。研究的主要发现表明，新基准和指标能够有效衡量大型语言模型在生成过程中如何利用检索信息，提高了评估的全面性与精准度。

Oct, 2024