大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在LLMs回答问题之前从外部知识库中检索相关信息。该论文概述了LLMs时代RAG的发展范式，总结了三种范式：Naive RAG，Advanced RAG和Modular RAG。同时，它提供了RAG的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估RAG模型的有效性，并介绍了两种RAG的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和RAG的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

Dec, 2023

我们开发了一个新的数据集MultiHop-RAG，它由知识库、大量的多跳查询、它们的真实答案和相应的支持证据组成，并详细介绍了构建数据集的过程。我们进行了两个实验来展示MultiHop-RAG的基准化效用，实验结果表明现有的RAG方法在检索和回答多跳查询上表现不尽人意。我们希望MultiHop-RAG能成为开发有效的RAG系统的有价值资源，从而促进LLMs在实践中的更广泛应用。

Jan, 2024

提出了一种名为InFO-RAG的信息优化训练方法，通过优化大语言模型在检索增强生成中的作用，实现了对输入的检索文本进行信息精简，提高了生成的文本的准确性、完整性和简洁性，相对于LLaMA2平均提升9.39%的性能，并展现了在上下文学习和鲁棒性方面的优势。

Feb, 2024

本研究提出了一个新颖的适应性问答框架，可以根据查询的复杂性动态选择最合适的策略，该策略可在回答问题时无缝地在迭代和单步检索增强型大型语言模型之间进行调整，同时适应多种查询复杂性，提高问答系统的效率和准确性。

Mar, 2024

提出了一种RE-RAG框架，通过将显式的上下文相关性估计器（RE）注入到RAG系统中，重新评估检索到的上下文，并将更相关的上下文与其重要性量度传递给生成器，从而在不使用标记的文档排名数据训练上下文相关性估计器的情况下，实现与FiD变体相当的性能，并改进了NQ和TQA的性能以及提高了RE-RAG的准确性。

Jun, 2024

通过生成多个查询来克服单一查询的信息平台以及通过重写问题来消除二义性，我们提出了Query Rewriter+来增强Query Rewriter模块，同时通过引入Knowledge Filter模块解决RAG系统中存在的无关知识问题，并且引入Memory Knowledge Reservoir和Retriever Trigger模块解决冗余检索问题，这四个RAG模块通过增强响应质量和效率，经实验证明了其有效性。

Jul, 2024

大型语言模型和检索增强生成技术在各个领域取得巨大成功，但仍存在幻觉问题、知识更新问题和缺乏领域专长等关键问题。本文回顾了检索增强生成技术的显著技术，特别是在检索器和检索融合方面，并提供了教程代码以实现这些代表性技术。此外，本文讨论了检索增强生成技术的训练方法和应用，并探讨了其未来发展方向和挑战。

Jul, 2024

本研究针对对话问答中用户的上下文搜索意图不明确的问题，提出了一种新方法，使大型语言模型（LLMs）能够根据对话上下文判断何时进行信息检索。通过构建SELF-multi-RAG框架，该方法在检索相关段落和评估生成回答的质量方面表现优越，实验结果显示，其生成的回答比单轮变体提升约13%。

Sep, 2024

本研究解决了检索增强生成(RAG)中用户查询与检索文档相关性不足导致的错误响应问题。通过建立统计框架评估查询与知识相关性，并引入在线和离线测试程序，本文显示出新测试框架能有效提高现有RAG系统的可靠性，确保生成的内容更具准确性及及时性。

Oct, 2024

本研究解决了大型语言模型在动态变化的知识和未知静态知识管理中面临的挑战。通过提出知识边界模型（KBM），研究能够区分不同类型的问题，从而有效减少不必要的检索请求，提升模型的整体性能，研究结果显示该方法在动态知识、长尾静态知识和多跳问题等复杂场景中表现优异。

Nov, 2024