Feb, 2024

利用上下文对抗性游戏防御越狱引发事件

PDF
TL;DR利用深度学习和大型语言模型 (Large Language Models) 的对抗训练方法，引入了以环境为背景的对抗性游戏 (In-Context Adversarial Game, ICAG)，以动态扩展知识来抵御越狱攻击，而无需进行精调。ICAG 采用迭代过程提升防御和攻击代理的能力，从而有效降低了新生成的越狱提示对 LLMs 的成功攻击率，且展现了对其他 LLMs 的可转移能力，显示出其作为多功能防御机制的潜力。
发现论文，激发创造
  • 使用少量上下文示例对越狱和防卫对齐的语言模型进行训练

    通过提供少量上下文演示数据，不需要微调，我们发现大型语言模型可以被操纵以增加或减少越狱的概率。我们提出了越狱攻击和守护方法，通过恶意上下文引导模型生成有害输出，并通过拒绝回答有害提示的演示来增强模型的鲁棒性。我们的实验表明，越狱攻击和守护方法在增加或减少敌对越狱攻击成功率方面是有效的，这为影响大型语言模型行为并提高其安全性和对齐性提供了新的视角。

    Oct, 2023

  • 对抗调整：为 LLMs 防御越狱攻击

    通过优化包含对抗性提示及其安全响应的数据集，我们提出了一个两阶段的对抗调整框架，用于增强大型语言模型在防御能力方面的广义性，实验证明了我们方法的优越性，并展示了它作为可传输防御机制的潜力。

    Jun, 2024

  • 利用多轮互动增强上下文的越狱攻击

    大型语言模型对越狱攻击很容易受到攻击，本研究提出了一种基于上下文互动的攻击形式，通过操作模型的回应引导其透露有害信息。在四个不同的大型语言模型上进行实验证明了该攻击的有效性，并且该攻击可以在不同大型语言模型之间转移。

    Feb, 2024

  • 针对安全定向 LLM 的改进对抗样本生成

    通过借鉴转移式攻击的思想，结合渐变式对抗性提示生成过程，我们改进了自动生成的对抗性示例以攻击白盒大语言模型，取得了显著的性能提升，同时也提出了新的见解和适当的方法组合。

    May, 2024

  • 对 LLM 的越狱攻击进行全面评估

    对大型语言模型 (也称为 LLMs) 的滥用进行了研究，发现存在越过社会伦理道德保障的破解攻击，相关研究呈现了不同的破解方法和违规类别，展示了破解提示的攻击效果，以及破解攻击与模型之间的转移性。这一研究强调了对不同破解方法进行评估的必要性，为未来研究提供了启示，并为从业者评估破解攻击提供了基准工具。

    Feb, 2024

  • LLMs 在实践中可以自我防御破解：一篇展望性论文

    Jailbreaking is an emerging adversarial attack that bypasses the safety alignment deployed in off-the-shelf large language models. This paper proposes a lightweight yet practical defense called SELFDEFEND, which can defend against all existing jailbreak attacks with minimal delay for jailbreak prompts and negligible delay for normal user prompts.

    Feb, 2024

  • 通过对抗性上下文学习劫持大型语言模型

    通过引入一种新的对上下文学习的颠覆性攻击方法，本文展示了一种能够利用 LMLs 来生成针对性响应的方法，并通过对各种任务和数据集的广泛实验结果证明了其有效性。

    Nov, 2023

  • GUARD：通过角色扮演生成自然语言越狱以测试大型语言模型的指南遵循性

    使用角色扮演系统结合知识图谱生成监狱破解方法，验证 LLMs 对监管规定的遵从性，并在不同模态下展示 GUARD 的多样性和对更安全可靠的 LLM 应用的有价值见解。

    Feb, 2024

  • 勤奋的鲍勃通过及时对抗调整反击越狱

    我们提出了一种名为 Prompt Adversarial Tuning (PAT) 的方法来训练一个防御控制机制，将其作为用户提示的前缀来实施我们的防御策略，该方法在黑盒和白盒设置中表现有效，在几乎不影响操作效率的情况下，将高级攻击的成功率降低到几乎为 0，同时仍然保持对简单问题的良性回答率为 80%。我们的研究在 LLM 安全领域可能为未来的探索开辟新的视角。

    Feb, 2024

  • SelfDefend: LLMs 能够以实用方式自我防护免受越狱攻击

    这篇论文介绍了一种名为 SelfDefend 的通用 LLM 监狱破解防御框架，通过在正常堆栈中建立影子 LLM 防御实例并与目标 LLM 实例协同工作来保护目标 LLM 实例。测量结果表明，SelfDefend 可使 GPT-3.5 的攻击成功率下降 8.97-95.74％（平均 60％），而对正常查询影响微乎其微。同时，通过数据精馏方法调整专用的开源防御模型进一步提高防御的鲁棒性并降低成本。

    Jun, 2024