Feb, 2024

PoisonedRAG：对大型语言模型的检索辅助生成进行的知识投毒攻击

PDF
TL;DR通过注入有毒文本到知识库中，攻击者可以使大型语言模型生成攻击者选择的目标问题的攻击者选择的目标答案。我们提出了两种解决方案来解决这个优化问题，分别从黑盒和白盒背景的角度出发，攻击成功率达到了 90%。我们还评估了最近提出的防御方法，结果显示它们对我们的攻击不足以进行有效防御，凸显出对新的防御方法的需求。
large language modelsgenerative capabilitiesretrieval-augmented generationknowledge poisoning attacksdefenses
发现论文，激发创造
  • BadRAG：大型语言模型检测检索增强生成中的漏洞

    通过结合检索式方法和生成模型，提出了 TrojRAG 来识别检索部分（RAG 数据库）的漏洞和攻击，并间接攻击生成部分（LLMs），通过中毒定制内容来实现检索后门和语义操纵，这些攻击可以包括 RAG 的拒绝服务攻击和以触发器为条件的生成 LLMs 的语义操纵。

    Jun, 2024

  • 幻影：检索增强语言生成的一般触发攻击

    检索增强生成（RAG）通过使用外部知识数据库，扩展现代大型语言模型（LLMs）在聊天机器人应用中的能力，使开发者能够在没有昂贵的训练或微调的情况下调整和个性化 LLM 的输出。本研究提出了针对 RAG 增强 LLMs 的新攻击方式，通过向其知识数据库中注入单个恶意文档来危害受害者的 RAG 系统，从而引发多种针对生成模型的恶意攻击。

    May, 2024

  • 大语言模型的检索增强生成：综述

    大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式，总结了三种范式：Naive RAG，Advanced RAG 和 Modular RAG。同时，它提供了 RAG 的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估 RAG 模型的有效性，并介绍了两种 RAG 的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

    Dec, 2023

  • LLM 技术应用中的人类不可感知检索污染攻击

    LLM 应用开发、检索增强生成、LLM 应用、检索污染以及风险评估是本文的关键词。作者揭示了一种称为检索污染的新威胁，攻击者可以通过欺骗 LLM 应用程序在检索生成过程中生成恶意回应，对应用程序进行破坏。通过分析 LLM 应用程序框架，攻击者可以制作与正常文档在视觉上几乎无法区分的文档，一旦这些文档被用作检索增强生成的参考来源，应用程序就会产生错误的响应。初步实验表明攻击者可以以 88.33% 的成功率误导 LLM，并在现实世界的应用中达到 66.67% 的成功率，展示了检索污染的潜在影响。

    Apr, 2024

  • 关于 RAG 遇见 LLM 的调研：走向检索增强的大型语言模型

    检视了检索增强型大型语言模型（RA-LLMs）的现有研究，涵盖体系结构、训练策略和应用三个主要技术视角，并介绍了此类模型的基础知识和最新进展，以及它们为大型语言模型（LLMs）带来的实际意义和应用领域的挑战和能力，最后讨论了当前的局限性和未来研究的几个有前途的方向。

    May, 2024

  • RQ-RAG: 学习改进用于检索增强生成的查询

    学习改进查询以实现检索增强生成，通过加入外部相关文档，使模型具备显式重写、分解和消歧的能力，并在各种问题回答数据集中取得了优于现有方法的表现。

    Mar, 2024

  • TrojanRAG: 大型语言模型中的检索增强生成可以成为后门驱动程序

    利用 Retrieval-Augmented Generation 进行联合后门攻击，针对大型语言模型（LLMs）的安全威胁进行探讨，通过构建精巧的目标上下文和触发器集合，通过对比学习优化多对后门快捷方式，从而限制触发条件以提高匹配率，并引入知识图谱进行结构化数据构建实现目标上下文的精确匹配，验证后门对 LLMs 的真实伤害以及上下文是否为越狱模型提供有利工具，实验证明 TrojanRAG 在正常查询中保持检索能力同时展示多样化的安全威胁。

    May, 2024

  • 检索增强生成（RAG）中隐私问题的探索

    使用检索增强生成（RAG）技术可以增强具有专有和私有数据的语言模型，在这种情况下，数据隐私是关键问题。本研究对检索增强生成系统进行了广泛的实证研究，并提出新的攻击方法来揭示其对私有检索数据库的泄露漏洞。尽管 RAG 技术存在新的风险，但它可以减轻语言模型的训练数据泄露问题，为检索增强语言模型的隐私保护提供了新的见解，对语言模型和 RAG 系统构建者都具有益处。

    Feb, 2024

  • 遵循我的指示并透露机密：检索增强型生成系统的可伸缩数据提取

    Retrieval-Augmented Generation (RAG) 可以增强预训练模型，通过在测试时引入外部知识以实现定制化适应性。研究发现，Retrieval-In-Context RAG 语言模型中存在数据存储泄露的风险，对于多种现代语言模型以及 GPTs 模型，攻击利用模型的指令跟随功能，通过提示注入轻松从数据存储库中提取文本数据。通过设计一种攻击方法，可以在 25 个随机选择的自定义 GPTs 模型上以 100% 的成功率导致数据存储泄露，并且通过自身生成的仅 100 个查询，从包含 77,000 字的书籍和 1,569,000 字的文集中从文本数据中提取文本数据的比率为 41% 和 3%。

    Feb, 2024

  • 通过自学使大型语言模型能够建立知识检索索引器

    该研究提出了一种名为 PG-RAG 的预检索框架，使用大量阅读材料和结构化的语境记录来构建伪图数据库，该框架在单文档和多文档的问题回答任务中表现出明显的改进，具有高性能的检索和生成能力。

    May, 2024