Feb, 2024

COLD-Attack: 使用隐秘性与可控性越狱线性语言模型

PDF
TL;DR大型语言模型（LLMs）上的越狱问题近来引起了越来越多的关注，本文提出了可控制的攻击生成问题，并构建了与自然语言处理中可控制文本生成问题之间的联系，通过 COLD-Attack 框架统一并自动化了对各种控制要求下的对抗性 LLM 攻击的搜索，实验证明了其广泛适用性、强大的可控性、高成功率和攻击可迁移性。
jailbreakslarge language models (llms)controllable attack generationcold-attack frameworkadversarial llm attacks
发现论文，激发创造
  • 大型语言模型中越狱攻击的跨语言调查

    通过广泛的实证研究，我们对多语言越狱攻击进行了深入探究，提出了一种新的语义保持算法来创建多语言越狱数据集，并对包括 GPT-4 和 LLaMa 在内的开源和商业语言模型进行了详尽评估，并实施了微调缓解方法。我们的发现显示出，我们的缓解策略显著增强了模型的防御能力，将攻击成功率降低了 96.2%。这项研究为理解和缓解多语言越狱攻击提供了宝贵的见解。

    Jan, 2024

  • SmoothLLM: 对抗越狱攻击的大型语言模型防御

    为了解决大型语言模型在破解攻击中的脆弱性，提出了 SmoothLLM 算法，通过对输入的随机扰动和聚合进行检测，降低了攻击成功率，并在攻击缓解上提供了可证明的保证。

    Oct, 2023

  • LLM 越狱攻击与防御技术 -- 综合研究

    该研究对破解大型语言模型（LLMs）及其防御技术进行了全面分析，评估了九种攻击技术和七种防御技术应用于 Vicuna、LLama 和 GPT-3.5 Turbo 三个不同语言模型的效果，并释放了数据集和测试框架，以促进 LLM 安全领域的进一步研究。

    Feb, 2024

  • 对 LLM 的越狱攻击进行全面评估

    对大型语言模型 (也称为 LLMs) 的滥用进行了研究，发现存在越过社会伦理道德保障的破解攻击，相关研究呈现了不同的破解方法和违规类别，展示了破解提示的攻击效果，以及破解攻击与模型之间的转移性。这一研究强调了对不同破解方法进行评估的必要性，为未来研究提供了启示，并为从业者评估破解攻击提供了基准工具。

    Feb, 2024

  • 利用多轮互动增强上下文的越狱攻击

    大型语言模型对越狱攻击很容易受到攻击，本研究提出了一种基于上下文互动的攻击形式，通过操作模型的回应引导其透露有害信息。在四个不同的大型语言模型上进行实验证明了该攻击的有效性，并且该攻击可以在不同大型语言模型之间转移。

    Feb, 2024

  • 欺骗 LLMs 反抗：理解、分析和预防越狱

    本研究提出了形式主义和已知（和可能的）越狱攻击分类，并在开源和商业 LLM（如 GPT 3.5，OPT，BLOOM 和 FLAN-T5-xxl）上进行了现有越狱方法及其有效性的调查；我们进一步提出了一组有限的提示守卫，并讨论了其对已知攻击类型的有效性。

    May, 2023

  • 被污染的 LangChain: LangChain 破解 LLMs

    通过 LangChain 实现 Retrieval-Augmented Generation，我们提出了间接破解和一种新的间接破解攻击方法 ——Poisoned-LangChain (PLC)，该方法使用毒化的外部知识库与大型语言模型进行交互，从而导致大型模型生成恶意的非合规对话。在六个不同的大型语言模型上进行的实验表明，PLC 成功地实施了三种不同场景下的间接破解攻击，分别达到了 88.56％，79.04％和 82.69％的成功率。

    Jun, 2024

  • 亚毒问题：探索 LIM 在越狱尝试中的态度转变

    通过设计和分析敏感问题，揭示了一个更有效的在 LLMs 中识别漏洞的方法，旨在推进 LLM 的安全，这不仅挑战了现有的越狱方法学，而且加强了 LLMs 对潜在攻击的防范。

    Apr, 2024

  • Tastle: 自动越狱攻击中的大型语言模型分散技术

    我们提出了 Tastle，一种新颖的黑盒越狱框架，用于自动化红队攻击大型语言模型（LLMs），通过设计恶意内容隐藏和内存重构来破解 LLMs，实验证明了我们的框架在有效性、可扩展性和可转移性方面的优越性，并评估现有的越狱防御方法的有效性以及发展更有效和实用的防御策略的重要性。

    Mar, 2024

  • 迫使语言模型（LLMs）做和透露（几乎）任何事情

    广义的对大型语言模型进行的对抗性攻击研究了攻击面和攻击目标，并对具体例子进行了分类和系统化，如误导、模型控制、服务拒绝或数据提取，并分析了这些攻击的实验结果。

    Feb, 2024