May, 2024

大型语言模型的上下文注入攻击

PDF
TL;DR通过在聊天系统中引入虚构的上下文，利用大型语言模型中的错误分类和上下文混淆的问题，可以进行上下文注入攻击，破坏实时交互的大型语言模型的安全性。研究发现了进行上下文注入攻击的策略并验证了其高成功率，同时提出了攻击检测和开发更安全模型的可能对策。
large language modelscontext injection attacksmisleading contextsreal-world llmsattack detection
发现论文，激发创造
  • 大型语言模型上的早期提示注入攻击分类

    大语言模型和 AI 聊天机器人在使人工智能民主化方面处于前沿。然而，发布 ChatGPT 和其他类似工具后，人们越来越担心难以控制大语言模型及其输出的问题。目前，我们正目睹用户试图滥用这些模型而开展的一场猫鼠大战，新出现了一种名为提示注入的攻击方式。相反，开发人员试图同时发现这些漏洞并阻止攻击。在本文中，我们概述了这些新出现的威胁，并提供提示注入的分类，以指导未来有关提示注入的研究，并作为在 LLM 接口开发中漏洞检查清单。此外，基于先前的文献和我们自己的实证研究，我们还讨论了提示注入对 LLM 终端用户、开发人员和研究人员的影响。

    Jan, 2024

  • 利用多轮互动增强上下文的越狱攻击

    大型语言模型对越狱攻击很容易受到攻击，本研究提出了一种基于上下文互动的攻击形式，通过操作模型的回应引导其透露有害信息。在四个不同的大型语言模型上进行实验证明了该攻击的有效性，并且该攻击可以在不同大型语言模型之间转移。

    Feb, 2024

  • 应用与集成的大型语言模型新型提示注入威胁的全面分析

    本研究讨论了如何通过注入恶意提示，以及从 Web 中检索出的包含有害预置提示的内容来对集成应用程序的大型语言模型 (LLMs) 进行 Prompt Injection 攻击。研究表明，这种攻击是实际可行的，需要加强技术进行缓解。

    Feb, 2023

  • LLM 是否能保守秘密？通过上下文完整理论测试语言模型的隐私影响

    通过提出 ConfAIde 基准测试，我们的实验结果表明即使在使用了隐私保护提示或思维链推理后，如 GPT-4 和 ChatGPT 这样的最先进模型仍然有 39% 和 57% 的概率在具体情境中泄露私人信息，这凸显了探索基于推理和心智理论的新型推理时隐私保护方法的迫切需要。

    Oct, 2023

  • 基于聊天式大型语言模型的上下文干扰

    大型语言模型对社会产生了巨大影响，但黑盒子情景下，用户只能在当前交互中明确提及来添加或修改内部知识，而不具备修改模型内部知识的能力。本文提出了一个研究，展示了模型在不同上下文中持续流动的信息之间可能出现干扰，从而忘记先前学到的知识，导致模型性能下降，并提出了一个基于 bAbI 数据集的评估基准。

    Sep, 2023

  • 大规模语言模型的自动且通用提示注入攻击

    自动梯度方法生成高效、通用的提示注入数据，彰显梯度测试的重要性，尤其是对于防御机制。

    Mar, 2024

  • 大型多模态模型中的上下文劫持

    通过提出使用 GPT-4V 的预过滤方法，在大规模多模态模型中解决了离题的图像和文本上下文对结果的偏导问题，并进一步研究了通过 GPT-4V 和文本到图像模型替换相关上下文是否能帮助生成连贯的回答。

    Dec, 2023

  • 快速采用，隐含风险：大型语言模型定制的双重影响

    我们的研究论文首次提出了针对与不受信任的定制大型语言模型（例如 GPTs）集成的应用程序的指令后门攻击，这些攻击通过设计带有后门指令的提示将后门嵌入到定制的语言模型中，并在输入包含预定义触发器时输出攻击者所需的结果。我们的研究结果强调了定制化语言模型（如 GPTs）的脆弱性和潜在风险。

    Feb, 2024

  • 基于自然语言的 LLMs 上下文建模与推理：教程

    利用大型语言模型，我们展示了利用文本、提示和自主代理让模型进行上下文建模和推理的计算范式，即基于大型语言模型驱动的上下文感知计算。

    Sep, 2023

  • LLM 集成应用中的提示注入攻击与防御

    大型语言模型在 LLM 集成应用中存在提示注入攻击的安全漏洞，现有研究有限且缺乏系统性，本文提出了一般性的框架来理解和设计这种攻击，同时也提出了对应的防御框架，并基于 10 个 LLM 和 7 个任务进行了系统评估。

    Oct, 2023