大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在LLMs回答问题之前从外部知识库中检索相关信息。该论文概述了LLMs时代RAG的发展范式，总结了三种范式：Naive RAG，Advanced RAG和Modular RAG。同时，它提供了RAG的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估RAG模型的有效性，并介绍了两种RAG的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和RAG的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

Dec, 2023

本研究提出了C-RAG框架，旨在为RAG模型证明世代风险。具体地，我们为RAG模型提供了符合风险分析，并认证了世代风险的上界置信度称为符合世代风险。我们还对测试分布转移下的一般有界风险函数的符合世代风险提供了理论保证。当检索模型和变换器的质量非平凡时，我们证明了RAG模型实现了比单个LLM更低的符合世代风险。通过对四个广泛使用的自然语言处理数据集在四个最先进的检索模型上进行的强化实证结果表明了我们符合尾世代风险保证的可靠性和紧密性。

Feb, 2024

提出了一种名为InFO-RAG的信息优化训练方法，通过优化大语言模型在检索增强生成中的作用，实现了对输入的检索文本进行信息精简，提高了生成的文本的准确性、完整性和简洁性，相对于LLaMA2平均提升9.39%的性能，并展现了在上下文学习和鲁棒性方面的优势。

Feb, 2024

Retrieval-Augmented Generation (RAG)是一种合并检索方法和深度学习技术的方法，旨在通过动态整合最新的外部信息解决大型语言模型（LLMs）的静态限制，并通过使用真实世界的数据提供一种成本效益的解决方案来改进LLMs输出的准确性和可靠性。该研究将RAG范式分为四个类别，并从检索的角度提供了详细的视角，同时介绍了RAG的演进和领域的进展。此外，该论文还提出了针对RAG的评估方法，并提出了面临的挑战和未来的研究方向，旨在巩固现有的RAG研究，明确其技术基础，并突出其扩展LLMs的适应性和应用潜力。

Apr, 2024

检视了检索增强型大型语言模型（RA-LLMs）的现有研究，涵盖体系结构、训练策略和应用三个主要技术视角，并介绍了此类模型的基础知识和最新进展，以及它们为大型语言模型（LLMs）带来的实际意义和应用领域的挑战和能力，最后讨论了当前的局限性和未来研究的几个有前途的方向。

May, 2024

本研究主要解决大型语言模型（LLMs）在生成内容时面临的幻觉、知识陈旧和推理不清等问题。通过检索增强生成（RAG）技术，结合LLMs的内在知识与外部数据库，本文提出了一种新的上下文压缩范式，并分析其演变和当前挑战，为未来的研究方向指明了道路。

Sep, 2024

本研究解决了检索增强生成（RAG）中不完善检索导致知识冲突和信息不可靠的问题。提出的精明RAG方法通过从内部知识中自适应提取关键信息，并在后期整合内部和外部知识，显著提高了模型的鲁棒性和可靠性。实验结果显示，精明RAG在最坏情况下的表现超过了现有的RAG方法，改善了系统的可信度和稳健性。

Oct, 2024

本研究解决了检索增强生成系统评价中的数据多样性不足及问题定位困难等挑战。我们提出了Comprehensive Full-chain Evaluation (CoFE-RAG)框架，通过引入多粒度关键词以及全面的数据集，以评估RAG系统的各个阶段。该框架的实验结果显示了RAG系统在处理多样化数据场景中的有效性，为其能力和局限性提供了更细致的理解。

Oct, 2024

本研究针对当前RAG系统评估方法存在的不足，提出了\textsc{Long$^2$RAG}基准和关键点回忆（KPR）指标。该基准包含280个问题，涵盖10个领域，通过评估LLMs从检索文档中提取关键信息并生成长文本响应的能力，显著提升了对LLMs在长上下文检索和长文本生成方面的评估效率。

Oct, 2024

本研究针对当前检索增强生成（RAG）系统在长背景处理和长文本生成评估中的不足，提出了Long²RAG基准和关键点回想（KPR）指标。研究的主要发现表明，新基准和指标能够有效衡量大型语言模型在生成过程中如何利用检索信息，提高了评估的全面性与精准度。

Oct, 2024