可证明鲁棒检索错误的 RAG 模型

May, 2024

Certifiably Robust RAG against Retrieval Corruption

Chong Xiang, Tong Wu, Zexuan Zhong, David Wagner, Danqi Chen...

TL;DR在本文中，我们提出了 RobustRAG 作为对抗检索污染攻击的第一个防御框架，通过采用独立后聚合策略，我们设计了基于关键词和解码的算法，以安全地聚合非结构化文本响应，并证明了 RobustRAG 在某些查询上能始终返回准确的响应，即使攻击者对我们的防御有完全了解并能随意注入少量恶意段落。我们在开放域问题回答和长文本生成数据集上评估了 RobustRAG，展示了其在各种任务和数据集上的有效性和泛化能力。

Abstract

retrieval-augmented generation (RAG) has been shown vulnerable to retrieval corruption attacks: an attacker can inject malicious passages into retrieval results to induce inaccurate responses. In this paper, we propose

retrieval-augmented generation robustrag retrieval corruption attacks aggregate unstructured text responses certifiable robustness

发现论文，激发创造

BadRAG：大型语言模型检测检索增强生成中的漏洞

通过结合检索式方法和生成模型，提出了 TrojRAG 来识别检索部分（RAG 数据库）的漏洞和攻击，并间接攻击生成部分（LLMs），通过中毒定制内容来实现检索后门和语义操纵，这些攻击可以包括 RAG 的拒绝服务攻击和以触发器为条件的生成 LLMs 的语义操纵。

Jun, 2024

纠错检索增强生成

大语言模型（LLMs）不可避免地产生幻觉，因为仅依靠它们所封装的参数知识无法确保生成的文本的准确性。为了改善生成的鲁棒性，我们提出了纠正检索增强生成（CRAG）。通过设计轻量级的检索评估模型来评估检索文档的整体质量，并基于此返回信心度，从而触发不同的知识检索操作。此外，利用大规模网络搜索扩展检索结果。通过分解和重组算法，选择性关注关键信息并过滤掉不相关信息。CRAG 与各种基于 RAG 的方法可以无缝连接。在涵盖短文和长文生成任务的四个数据集上的实验表明，CRAG 可以显著提高基于 RAG 的方法的性能。

Jan, 2024

大语言模型的检索增强生成：综述

大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式，总结了三种范式：Naive RAG，Advanced RAG 和 Modular RAG。同时，它提供了 RAG 的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估 RAG 模型的有效性，并介绍了两种 RAG 的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

Dec, 2023

低级扰动模拟野外文档对 RAG 管道的遗传攻击

通过寻求大规模语言模型与检索生成的完美结合来解决其局限性，本论文研究了在评估检索生成鲁棒性时常被忽视的两个方面：对噪声文档的脆弱性和对检索生成系统的整体评估。同时，论文引入一种新的攻击方法 —— 遗传攻击，用于揭示组成部分中的漏洞并测试系统对噪声文档的功能性。实验结果表明，遗传攻击在不同的数据库和语言模型上均能取得较高的攻击成功率，同时显著破坏了每个组成部分以及它们之间的协同作用，凸显了微小的文本不准确性对破坏现实世界中的检索生成系统所带来的巨大风险。

Apr, 2024

检索增强生成（RAG）中隐私问题的探索

使用检索增强生成（RAG）技术可以增强具有专有和私有数据的语言模型，在这种情况下，数据隐私是关键问题。本研究对检索增强生成系统进行了广泛的实证研究，并提出新的攻击方法来揭示其对私有检索数据库的泄露漏洞。尽管 RAG 技术存在新的风险，但它可以减轻语言模型的训练数据泄露问题，为检索增强语言模型的隐私保护提供了新的见解，对语言模型和 RAG 系统构建者都具有益处。

Feb, 2024

ARAGOG：高级 RAG 输出评分

整合外部知识到大型语言模型输出，文献调研主要集中于最新方法与之前方法的比较，缺乏广泛的实验比较。本研究通过评估不同检索增强生成方法对检索精度和答案相似性的影响来填补这一空白。研究发现，Hypothetical Document Embedding (HyDE) 和大型语言模型重排能显著提高检索精度。然而，Maximal Marginal Relevance (MMR) 和 Cohere 重排在基线 Naive RAG 系统上没有明显优势，而 Multi-query 方法表现不佳。句窗检索为最有效的检索精度方法，尽管在答案相似性上表现不稳定。研究证实文件摘要索引作为一种有效的检索方法。欢迎学术界进一步探索 RAG 系统的研究，相关资源可通过我们的 GitHub 资源库 ARAGOG 进行进一步调查。

Apr, 2024

自我反思：学习通过检索、生成和评论

通过检索和自我反思，Self-RAG 框架提高了语言模型的质量和准确性，在多样任务中显著优于其他模型。

Oct, 2023

基于检索增强生成的大型语言模型的基准测试

通过对 Retrieval-Augmented Generation 对大型语言模型的影响进行系统调查和评估，本文发现大型语言模型在噪音鲁棒性、负面拒绝、信息整合和对抗性鲁棒性方面存在挑战，表明在将 RAG 有效应用于大型语言模型方面仍有很长的路要走。

Sep, 2023

混合 RAG：通过语义搜索和混合基于查询的检索器提高 RAG（召回增强生成）的准确性

基于 Retrieval-Augmented Generation (RAG) 方法，结合语义搜索技术，如稠密向量索引和稀疏编码器索引，以及混合查询策略，我们提出了 ' 混合 RAG' 方法。通过在 IR 数据集和 Generative Q&A 数据集上取得更好的检索结果并创造新的基准，我们进一步将这种 ' 混合 Retriever' 扩展到 RAG 系统，甚至超过 fine-tuning 性能。

Mar, 2024

C-RAG: 检索扩展语言模型的认证生成风险

本研究提出了 C-RAG 框架，旨在为 RAG 模型证明世代风险。具体地，我们为 RAG 模型提供了符合风险分析，并认证了世代风险的上界置信度称为符合世代风险。我们还对测试分布转移下的一般有界风险函数的符合世代风险提供了理论保证。当检索模型和变换器的质量非平凡时，我们证明了 RAG 模型实现了比单个 LLM 更低的符合世代风险。通过对四个广泛使用的自然语言处理数据集在四个最先进的检索模型上进行的强化实证结果表明了我们符合尾世代风险保证的可靠性和紧密性。

Feb, 2024