May, 2024

检索增强生成中的成员推断攻击：我的数据是否在您的检索数据库中？

PDF
TL;DR引入了一种高效且易于使用的方法，用于针对检索增强生成（RAG）系统进行成员推断攻击（MIA）；通过使用两个基准数据集和多个生成模型，我们展示了我们攻击的有效性，并且在黑盒和灰盒设置下，可以通过创建适当的提示来高效地确定文档在检索数据库中的成员身份；我们的研究结果突出了实施安全对策以保护检索数据库隐私和安全的重要性。
发现论文，激发创造
  • 检索增强生成（RAG）中隐私问题的探索

    使用检索增强生成（RAG）技术可以增强具有专有和私有数据的语言模型，在这种情况下，数据隐私是关键问题。本研究对检索增强生成系统进行了广泛的实证研究，并提出新的攻击方法来揭示其对私有检索数据库的泄露漏洞。尽管 RAG 技术存在新的风险，但它可以减轻语言模型的训练数据泄露问题，为检索增强语言模型的隐私保护提供了新的见解，对语言模型和 RAG 系统构建者都具有益处。

    Feb, 2024

  • BadRAG：大型语言模型检测检索增强生成中的漏洞

    通过结合检索式方法和生成模型，提出了 TrojRAG 来识别检索部分（RAG 数据库）的漏洞和攻击，并间接攻击生成部分（LLMs），通过中毒定制内容来实现检索后门和语义操纵，这些攻击可以包括 RAG 的拒绝服务攻击和以触发器为条件的生成 LLMs 的语义操纵。

    Jun, 2024

  • 遵循我的指示并透露机密：检索增强型生成系统的可伸缩数据提取

    Retrieval-Augmented Generation (RAG) 可以增强预训练模型，通过在测试时引入外部知识以实现定制化适应性。研究发现，Retrieval-In-Context RAG 语言模型中存在数据存储泄露的风险，对于多种现代语言模型以及 GPTs 模型，攻击利用模型的指令跟随功能，通过提示注入轻松从数据存储库中提取文本数据。通过设计一种攻击方法，可以在 25 个随机选择的自定义 GPTs 模型上以 100% 的成功率导致数据存储泄露，并且通过自身生成的仅 100 个查询，从包含 77,000 字的书籍和 1,569,000 字的文集中从文本数据中提取文本数据的比率为 41% 和 3%。

    Feb, 2024

  • 检索增强生成系统：自动数据集创建、评估和布尔代理设置

    检索增强生成（RAG）系统在通过领域特定和时间敏感数据增强大型语言模型（LLM）输出方面非常受欢迎。本文提出了一种严格的数据集创建和评估工作流程，从而定量比较了不同的 RAG 策略，用于布尔代理 RAG 设置的开发和评估。我们在线发布了我们的代码和生成的数据集。

    Feb, 2024

  • 噪声的力量：为 RAG 系统重新定义检索

    通过详细和批判性地分析信息检索组件对检索辅助生成系统的影响，本研究揭示了特定类型的文档对于有效的检索辅助生成提示公式所需的特征，发现包括不相关的文档能出乎意料地提高准确性超过 30％。这些结果强调了需要开发专门策略来将检索与语言生成模型相结合，为未来研究奠定了基础。

    Jan, 2024

  • 幻影：检索增强语言生成的一般触发攻击

    检索增强生成（RAG）通过使用外部知识数据库，扩展现代大型语言模型（LLMs）在聊天机器人应用中的能力，使开发者能够在没有昂贵的训练或微调的情况下调整和个性化 LLM 的输出。本研究提出了针对 RAG 增强 LLMs 的新攻击方式，通过向其知识数据库中注入单个恶意文档来危害受害者的 RAG 系统，从而引发多种针对生成模型的恶意攻击。

    May, 2024

  • LLMs 知道他们所需：利用缺失信息导向框架强化检索辅助生成

    通过实验证明语言模型具有提取信息和判断缺失信息的能力，基于此发现，本文提出了一种 Missing Information Guided Retrieve-Extraction-Solving（MIGRES）范式，利用缺失信息的识别生成有针对性的查询来引导后续的知识检索，同时设计了一种基于句子级别的重新排序过滤方法，以过滤掉无关的内容，并结合语言模型的信息提取能力从干净的文档中提取有用信息，从而增强 Retrieval-Augmented Generation（RAG）的整体效力。大量实验证明了所提出的 MIGRES 方法的优越性，并分析实验证明了我们提出的模块的有效性。

    Apr, 2024

  • RAG 不适用于企业

    通过结合知识检索，改进大型语言模型的输出的准确性和相关性的检索增强生成（RAG）在企业中的实施面临数据安全、准确性、可扩展性和集成方面的挑战。本文探讨了企业 RAG 的独特需求，调查了当前方法和限制，并讨论了语义搜索、混合查询和优化检索的潜在进展。它提出了一个评估框架，以验证企业 RAG 解决方案的能力，包括定量测试、定性分析、消融研究和行业案例研究。该框架旨在帮助证明面向企业级安全、合规性和集成性能够提供准确性和相关性改进的目的构建的 RAG 架构的能力。本文总结了企业部署的含义、限制和未来研究方向。研究人员与行业合作伙伴之间的密切合作可能加速检索增强生成技术的开发和部署的进展。

    May, 2024

  • 医学领域检索增强生成的基准测试

    通过在医学问答数据集上的大规模实验，我们提出了一种基于检索增强生成的评估框架 MIRAGE，以改善大型语言模型在医学领域中的表现，并通过引入 MedRAG 工具包提高了六个不同语言模型的准确性，最高可达到 18%，将 GPT-3.5 和 Mixtral 的性能提升至 GPT-4 级别。

    Feb, 2024

  • PoisonedRAG：对大型语言模型的检索辅助生成进行的知识投毒攻击

    通过注入有毒文本到知识库中，攻击者可以使大型语言模型生成攻击者选择的目标问题的攻击者选择的目标答案。我们提出了两种解决方案来解决这个优化问题，分别从黑盒和白盒背景的角度出发，攻击成功率达到了 90%。我们还评估了最近提出的防御方法，结果显示它们对我们的攻击不足以进行有效防御，凸显出对新的防御方法的需求。

    Feb, 2024