大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在LLMs回答问题之前从外部知识库中检索相关信息。该论文概述了LLMs时代RAG的发展范式，总结了三种范式：Naive RAG，Advanced RAG和Modular RAG。同时，它提供了RAG的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估RAG模型的有效性，并介绍了两种RAG的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和RAG的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

Dec, 2023

通过详细和批判性地分析信息检索组件对检索辅助生成系统的影响，本研究揭示了特定类型的文档对于有效的检索辅助生成提示公式所需的特征，发现包括不相关的文档能出乎意料地提高准确性超过30％。这些结果强调了需要开发专门策略来将检索与语言生成模型相结合，为未来研究奠定了基础。

Jan, 2024

本研究提出了C-RAG框架，旨在为RAG模型证明世代风险。具体地，我们为RAG模型提供了符合风险分析，并认证了世代风险的上界置信度称为符合世代风险。我们还对测试分布转移下的一般有界风险函数的符合世代风险提供了理论保证。当检索模型和变换器的质量非平凡时，我们证明了RAG模型实现了比单个LLM更低的符合世代风险。通过对四个广泛使用的自然语言处理数据集在四个最先进的检索模型上进行的强化实证结果表明了我们符合尾世代风险保证的可靠性和紧密性。

Feb, 2024

使用检索增强生成（RAG）技术可以增强具有专有和私有数据的语言模型，在这种情况下，数据隐私是关键问题。本研究对检索增强生成系统进行了广泛的实证研究，并提出新的攻击方法来揭示其对私有检索数据库的泄露漏洞。尽管RAG技术存在新的风险，但它可以减轻语言模型的训练数据泄露问题，为检索增强语言模型的隐私保护提供了新的见解，对语言模型和RAG系统构建者都具有益处。

Feb, 2024

Retrieval-Augmented Generation (RAG)系统的评估和分析框架（RGAR）提供了一种基于可测输出和已建立真实性来系统分析RAG系统基准的方法，并讨论了当前基准的局限性和进一步研究的潜在方向。

May, 2024

使用检索增强生成（RAG）的方法将检索到的文本用于增强大型语言模型（LLM）。然而，研究显示RAG并不一致有效，甚至可能因检索到的文本含有噪声或错误而误导LLM，这表明RAG具有双重性，既有益又有害。本研究分离和形式化RAG的益处和害处，通过表征相似度来近似它们之间的差距，并建立它们之间的权衡机制，使其可解释、可量化和可比较。根据我们的理论，提出了一种实用的新方法X-RAG，在标记级别上实现纯LLM和RAG的协同生成，以保留好处和避免害处。基于OPT、LLaMA-2和Mistral的LLMs的实验表明了我们方法的有效性并支持了我们的理论结果。

Jun, 2024

使用Pistis-RAG框架以及内容为中心的方法，通过改进排序阶段，提高了检索增强生成系统的性能，并且能够更好地对鲜为人知的UI交互进行建模以及处理。

Jun, 2024

本研究针对检索增强生成（RAG）系统中大型语言模型（LLMs）的适用性缺乏研究的空白，提出了一种新的指标“信任评分”，以全面评估LLMs的可信度。文章提出的“信任对齐”框架能有效提升LLMs的信任评分，经过对比，使用该方法对齐的LLaMA-3-8b在多个任务上显著超越同类开源模型。

Sep, 2024

本研究解决了检索增强生成(RAG)系统中公平排序被忽视的问题。我们首次系统评估了集成公平排序的RAG系统，发现它们在生成质量方面能够与传统RAG系统相媲美，甚至在许多情况下超越后者，从而推动了相关项目提供者的公平增长。我们的研究为负责任与公平的RAG系统奠定了基础，并为未来研究开辟了新方向。

Sep, 2024

本研究探讨了检索增强生成（RAG）对大型语言模型（LLMs）公平性的影响，揭示了在用户对公平性意识的不同水平下，RAG如何导致不公平结果。我们通过实验证明，即使在完全审查和声称无偏的数据集上，RAG也会导致有偏见的输出，因此需要新的策略来确保公平性。

Oct, 2024