探索一种以维基百科作为参数内存和通过神经检索器访问的显式非参数内存的 pre-trained 具有差异访问机制的 RAG 模型，它可用于在广泛的与知识有关的 NLP 任务中取得 state-of-the-art 的表现。

May, 2020

大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在LLMs回答问题之前从外部知识库中检索相关信息。该论文概述了LLMs时代RAG的发展范式，总结了三种范式：Naive RAG，Advanced RAG和Modular RAG。同时，它提供了RAG的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估RAG模型的有效性，并介绍了两种RAG的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和RAG的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

Dec, 2023

本文提出了REAR，这是一种适用于开放领域问答的关联感知检索增强方法，通过在大型语言模型中引入一个能够准确评估检索文档相关性的排名头，以及通过双粒度相关融合和抗干扰训练的改进方法进行训练，REAR能够更好地利用外部知识并在四个开放领域问答任务中显著优于其他竞争性的RAG方法。

Feb, 2024

本研究提出了一个新颖的适应性问答框架，可以根据查询的复杂性动态选择最合适的策略，该策略可在回答问题时无缝地在迭代和单步检索增强型大型语言模型之间进行调整，同时适应多种查询复杂性，提高问答系统的效率和准确性。

Mar, 2024

学习改进查询以实现检索增强生成，通过加入外部相关文档，使模型具备显式重写、分解和消歧的能力，并在各种问题回答数据集中取得了优于现有方法的表现。

Mar, 2024

通过引入AMR改进RAG，提出了一个基于概念的RAG框架，并使用AMR基于概念提炼算法，将检索到的文档压缩成关键概念集，以过滤干扰信息，从而增强推理性能。

May, 2024

大型语言模型（LLMs）在知识广泛的任务中受到参数知识的限制，从而导致幻觉现象。为了解决这个问题，检索增强生成（RAG）通过引入外部文档片段来扩展LLM的知识。此外，通过提取或总结文档片段中的信息可以改善LLM的性能。然而，LLMs仍然难以察觉和利用分散的关键信息，这被称为“中间丢失”综合症。因此，我们通常需要重构内容以便LLM能够识别关键信息。我们提出了一种名为“Refiner”的端到端提取和重构方法，它在RAG的后检索过程中运行。Refiner利用一个单独的仅解码LLM，根据其相互连通性适应性地提取查询相关内容以及必要上下文，并将它们分割成部分，从而突出信息的区别，并有效地将下游LLMs与原始上下文对齐。实验证明，经过训练的Refiner（具有7B个参数）在提高回答准确性方面对下游LLM有显著的增益，并在各种单跳和多跳QA任务中优于其他最先进的RAG和并发压缩方法。值得注意的是，与最佳解决方案相比，Refiner在多跳任务中实现了80.5％的标记减少和1.6-7.0％的改进边际。Refiner是一种即插即用的解决方案，可以与RAG系统无缝集成，便于在各种开源框架中应用。

Jun, 2024

通过生成多个查询来克服单一查询的信息平台以及通过重写问题来消除二义性，我们提出了Query Rewriter+来增强Query Rewriter模块，同时通过引入Knowledge Filter模块解决RAG系统中存在的无关知识问题，并且引入Memory Knowledge Reservoir和Retriever Trigger模块解决冗余检索问题，这四个RAG模块通过增强响应质量和效率，经实验证明了其有效性。

Jul, 2024

本研究解决了检索增强生成(RAG)中用户查询与检索文档相关性不足导致的错误响应问题。通过建立统计框架评估查询与知识相关性，并引入在线和离线测试程序，本文显示出新测试框架能有效提高现有RAG系统的可靠性，确保生成的内容更具准确性及及时性。

Oct, 2024

本研究解决了大型语言模型在动态变化的知识和未知静态知识管理中面临的挑战。通过提出知识边界模型（KBM），研究能够区分不同类型的问题，从而有效减少不必要的检索请求，提升模型的整体性能，研究结果显示该方法在动态知识、长尾静态知识和多跳问题等复杂场景中表现优异。

Nov, 2024