探索一种以维基百科作为参数内存和通过神经检索器访问的显式非参数内存的 pre-trained 具有差异访问机制的 RAG 模型，它可用于在广泛的与知识有关的 NLP 任务中取得 state-of-the-art 的表现。

May, 2020

大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在LLMs回答问题之前从外部知识库中检索相关信息。该论文概述了LLMs时代RAG的发展范式，总结了三种范式：Naive RAG，Advanced RAG和Modular RAG。同时，它提供了RAG的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估RAG模型的有效性，并介绍了两种RAG的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和RAG的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

Dec, 2023

通过集成大型语言模型（LLM）和外部知识数据库，检索增强生成（RAG）在各种自然语言处理任务中展现了显著的改进。然而，RAG引入了长序列生成，导致了高计算和内存成本。我们提出了一种针对RAG量身定制的新型多级动态缓存系统Thoth，通过组织检索的知识的中间状态，并在GPU和主机内存层次结构中缓存它们，以减少时间和资源成本。

Apr, 2024

提出了一种新颖的“Collaborative Retrieval-Augmented Generation”框架DuetRAG，以同时整合领域微调和RAG模型，提高知识检索质量，从而提高生成质量。最后，在HotPot QA上展示了DuetRAG与专业人类研究人员的匹配。

May, 2024

我们提出了FlashRAG，一个高效且模块化的开源工具包，旨在帮助研究人员在一个统一的框架内复现现有的Retrieval Augmented Generation方法，并开发自己的方法。工具包实现了12种先进的RAG方法，并收集和组织了32个基准数据集。

May, 2024

为了解决用户在发出宽泛、开放式的查询时得到丰富的、多方面的回复的问题，我们提出了一种新颖的检索增强生成框架——RichRAG。该框架包括一个子方面探索器，用于识别问题中的潜在子方面；一个多方面检索器，用于构建与这些子方面相关的多样化外部文档的候选池；以及一个生成型列表排序器，它是为最终生成器提供前k个最有价值的文档的关键模块。经过实验证明，我们的框架能够有效、高效地为用户提供全面且满意的回复。

Jun, 2024

使用Pistis-RAG框架以及内容为中心的方法，通过改进排序阶段，提高了检索增强生成系统的性能，并且能够更好地对鲜为人知的UI交互进行建模以及处理。

Jun, 2024

通过生成多个查询来克服单一查询的信息平台以及通过重写问题来消除二义性，我们提出了Query Rewriter+来增强Query Rewriter模块，同时通过引入Knowledge Filter模块解决RAG系统中存在的无关知识问题，并且引入Memory Knowledge Reservoir和Retriever Trigger模块解决冗余检索问题，这四个RAG模块通过增强响应质量和效率，经实验证明了其有效性。

Jul, 2024

大型语言模型和检索增强生成技术在各个领域取得巨大成功，但仍存在幻觉问题、知识更新问题和缺乏领域专长等关键问题。本文回顾了检索增强生成技术的显著技术，特别是在检索器和检索融合方面，并提供了教程代码以实现这些代表性技术。此外，本文讨论了检索增强生成技术的训练方法和应用，并探讨了其未来发展方向和挑战。

Jul, 2024

本研究解决了现有检索增强生成（RAG）方法在处理模糊信息需求和非结构化知识时的局限性。提出的MemoRAG使用双系统架构，通过长时记忆提高检索能力，显著提升了复杂任务的表现，潜在影响在于推动RAG技术的进一步发展。

Sep, 2024