本文提出了一种新的增强型 RAG 框架 R^2AG，通过将检索信息整合到检索增强型生成模型中，从而填补了大语言模型（LLMs）和检索器之间的语义鸿沟。

Jun, 2024

通过详细和批判性地分析信息检索组件对检索辅助生成系统的影响，本研究揭示了特定类型的文档对于有效的检索辅助生成提示公式所需的特征，发现包括不相关的文档能出乎意料地提高准确性超过 30％。这些结果强调了需要开发专门策略来将检索与语言生成模型相结合，为未来研究奠定了基础。

Jan, 2024

ActiveRAG 是一种创新的 RAG 框架，它通过使用知识构建机制和认知纽带机制将被动知识获取转变为主动学习机制，从而提高了大型语言模型的内在认知，并在问答数据集上取得了 5% 的改进。

Feb, 2024

大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式，总结了三种范式：Naive RAG，Advanced RAG 和 Modular RAG。同时，它提供了 RAG 的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估 RAG 模型的有效性，并介绍了两种 RAG 的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

Dec, 2023

通过利用 Transformer 的多头 attention 层的激活作为提取多方面文档的关键来提高文本生成模型的能力，使得 Multi-Head RAG 能够更准确地检索复杂查询，并通过实证评估显示在相关性方面相较于标准的 RAG 基准模型有着高达 20% 的改进。

Jun, 2024

通过使用 Open Academic Graph 中的异构实体知识和科学语料库，我们为不同的高度知识密集型的学术应用程序构建了一个统一的骨干语言模型 OAG-BERT，并开发了其预训练策略和零 - shot 推理技术，并将其应用于实际应用程序中。

Mar, 2021

通过结合检索式方法和生成模型，提出了 TrojRAG 来识别检索部分（RAG 数据库）的漏洞和攻击，并间接攻击生成部分（LLMs），通过中毒定制内容来实现检索后门和语义操纵，这些攻击可以包括 RAG 的拒绝服务攻击和以触发器为条件的生成 LLMs 的语义操纵。

Jun, 2024

利用黑盒 API 访问，使用成员推理攻击的方法来确定一份样本是否属于一个 Retrieval-Augmented Generation（RAG）系统的知识数据库，并通过计算余弦相似度和模型的困惑度建立成员评分，提出了两种新的攻击策略：基于阈值的攻击和基于机器学习的攻击。

Jun, 2024

通过寻求大规模语言模型与检索生成的完美结合来解决其局限性，本论文研究了在评估检索生成鲁棒性时常被忽视的两个方面：对噪声文档的脆弱性和对检索生成系统的整体评估。同时，论文引入一种新的攻击方法 —— 遗传攻击，用于揭示组成部分中的漏洞并测试系统对噪声文档的功能性。实验结果表明，遗传攻击在不同的数据库和语言模型上均能取得较高的攻击成功率，同时显著破坏了每个组成部分以及它们之间的协同作用，凸显了微小的文本不准确性对破坏现实世界中的检索生成系统所带来的巨大风险。

Apr, 2024

学习改进查询以实现检索增强生成，通过加入外部相关文档，使模型具备显式重写、分解和消歧的能力，并在各种问题回答数据集中取得了优于现有方法的表现。

Mar, 2024