本研究提出了C-RAG框架，旨在为RAG模型证明世代风险。具体地，我们为RAG模型提供了符合风险分析，并认证了世代风险的上界置信度称为符合世代风险。我们还对测试分布转移下的一般有界风险函数的符合世代风险提供了理论保证。当检索模型和变换器的质量非平凡时，我们证明了RAG模型实现了比单个LLM更低的符合世代风险。通过对四个广泛使用的自然语言处理数据集在四个最先进的检索模型上进行的强化实证结果表明了我们符合尾世代风险保证的可靠性和紧密性。

Feb, 2024

通过注入有毒文本到知识库中，攻击者可以使大型语言模型生成攻击者选择的目标问题的攻击者选择的目标答案。我们提出了两种解决方案来解决这个优化问题，分别从黑盒和白盒背景的角度出发，攻击成功率达到了90%。我们还评估了最近提出的防御方法，结果显示它们对我们的攻击不足以进行有效防御，凸显出对新的防御方法的需求。

Feb, 2024

Retrieval-Augmented Generation (RAG)可以增强预训练模型，通过在测试时引入外部知识以实现定制化适应性。研究发现，Retrieval-In-Context RAG语言模型中存在数据存储泄露的风险，对于多种现代语言模型以及GPTs模型，攻击利用模型的指令跟随功能，通过提示注入轻松从数据存储库中提取文本数据。通过设计一种攻击方法，可以在25个随机选择的自定义GPTs模型上以100%的成功率导致数据存储泄露，并且通过自身生成的仅100个查询，从包含77,000字的书籍和1,569,000字的文集中从文本数据中提取文本数据的比率为41%和3%。

Feb, 2024

通过寻求大规模语言模型与检索生成的完美结合来解决其局限性，本论文研究了在评估检索生成鲁棒性时常被忽视的两个方面：对噪声文档的脆弱性和对检索生成系统的整体评估。同时，论文引入一种新的攻击方法——遗传攻击，用于揭示组成部分中的漏洞并测试系统对噪声文档的功能性。实验结果表明，遗传攻击在不同的数据库和语言模型上均能取得较高的攻击成功率，同时显著破坏了每个组成部分以及它们之间的协同作用，凸显了微小的文本不准确性对破坏现实世界中的检索生成系统所带来的巨大风险。

Apr, 2024

检索增强生成（RAG）通过使用外部知识数据库，扩展现代大型语言模型（LLMs）在聊天机器人应用中的能力，使开发者能够在没有昂贵的训练或微调的情况下调整和个性化LLM的输出。本研究提出了针对RAG增强LLMs的新攻击方式，通过向其知识数据库中注入单个恶意文档来危害受害者的RAG系统，从而引发多种针对生成模型的恶意攻击。

May, 2024

这项研究将大型语言模型与检索增强生成相结合，提出了一种名为RAAT的新的检索增强自适应对抗训练方法，通过适应性对抗训练动态调整模型的训练过程以应对检索噪声，并通过多任务学习确保模型内部识别噪声上下文的能力。实验证明，使用RAAT训练的LLaMA-2 7B模型在不同噪声条件下显著提高了F1和EM分数。

May, 2024

通过结合检索式方法和生成模型，提出了TrojRAG来识别检索部分（RAG数据库）的漏洞和攻击，并间接攻击生成部分（LLMs），通过中毒定制内容来实现检索后门和语义操纵，这些攻击可以包括RAG的拒绝服务攻击和以触发器为条件的生成LLMs的语义操纵。

Jun, 2024

利用黑盒API访问，使用成员推理攻击的方法来确定一份样本是否属于一个Retrieval-Augmented Generation（RAG）系统的知识数据库，并通过计算余弦相似度和模型的困惑度建立成员评分，提出了两种新的攻击策略：基于阈值的攻击和基于机器学习的攻击。

Jun, 2024

该研究论文探讨了检索增强的生成模型（RAG）如何整合外部知识库，提高其在事实核查和信息搜索等应用中的性能；同时指出了敌对方如何通过向检索数据库注入虚假内容来更改模型行为，进而对RAG系统进行成功的攻击，为此呼吁在设计和部署RAG系统时采取安全措施以确保机器生成内容的完整性。

Jun, 2024

本研究探讨了检索增强生成（RAG）系统在面对间接提示操控时的安全性，填补了该领域对安全隐患的研究空白。通过开发Rag 'n Roll框架，评估现有攻击的有效性，发现尽管攻击的成功率约为40%，但基于模糊答案的计算可使成功率提升至60%。此项工作揭示了现有RAG系统在安全设计方面的潜在不足，为未来研究提供了重要参考。

Aug, 2024