Feb, 2024

CodeChameleon：为大型语言模型破解定制的加密框架

PDF
TL;DR通过引入个性化加密策略的新型越狱框架 CodeChameleon，本研究研究了对大型语言模型（LLMs）的安全和伦理协议进行绕过的敌对滥用，提出了基于意图安全识别和响应生成的安全机制假设。我们通过将任务转化为代码完成格式，使用户能够使用个性化加密函数对查询进行加密，以避开意图安全识别阶段。为保证响应生成功能，我们在指令中嵌入了一个解密函数，允许 LLM 成功解密和执行加密的查询。在 7 个 LLM 上进行了广泛的实验，取得了最先进的平均攻击成功率（ASR），其中在 GPT-4-1106 上达到了 86.6％的 ASR。
adversarial misusejailbreakinglarge language modelsintent security recognitioncodechameleon
发现论文，激发创造
  • 使用词替代密码破解专有大型语言模型

    大型语言模型容易受到称为 Jailbreak 的创新提示的影响，本文提出使用加密技术对越狱提示进行编码，实验结果表明我们提出的越狱方法在 ChatGPT、GPT-4 和 Gemini-Pro 等先进专有模型上的攻击成功率高达 59.42％，此外，我们还讨论了这些模型的过度防御性。

    Feb, 2024

  • SmoothLLM: 对抗越狱攻击的大型语言模型防御

    为了解决大型语言模型在破解攻击中的脆弱性，提出了 SmoothLLM 算法，通过对输入的随机扰动和聚合进行检测，降低了攻击成功率，并在攻击缓解上提供了可证明的保证。

    Oct, 2023

  • 对 LLM 的越狱攻击进行全面评估

    对大型语言模型 (也称为 LLMs) 的滥用进行了研究，发现存在越过社会伦理道德保障的破解攻击，相关研究呈现了不同的破解方法和违规类别，展示了破解提示的攻击效果，以及破解攻击与模型之间的转移性。这一研究强调了对不同破解方法进行评估的必要性，为未来研究提供了启示，并为从业者评估破解攻击提供了基准工具。

    Feb, 2024

  • 大型语言模型中越狱攻击的跨语言调查

    通过广泛的实证研究，我们对多语言越狱攻击进行了深入探究，提出了一种新的语义保持算法来创建多语言越狱数据集，并对包括 GPT-4 和 LLaMa 在内的开源和商业语言模型进行了详尽评估，并实施了微调缓解方法。我们的发现显示出，我们的缓解策略显著增强了模型的防御能力，将攻击成功率降低了 96.2%。这项研究为理解和缓解多语言越狱攻击提供了宝贵的见解。

    Jan, 2024

  • 自我欺骗：大型语言模型语义防火墙的逆渗透

    通过研究语言模型监管的方法和攻击，本文提出一种自动破解监管的方法，即引入语意防火墙概念并提供三种技术实现方式，从而成功地实施了 “自欺” 攻击。实验证明该方法的有效性，为未来研究提供了启示。

    Aug, 2023

  • LLMs 能够深入检测复杂恶意查询吗？通过混淆意图进行越狱的框架

    提出了一种名为 IntentObfuscator 的黑盒越狱攻击方法，通过模糊用户提示背后的真实意图，使 LLMs 绕过其内置的内容安全措施，有效地规避了恶意意图检测；通过在 ChatGPT-3.5 等多个模型上的测试，证明了 IntentObfuscator 方法在多种敏感内容类型上的成功率，进而对加强 LLM 内容安全框架的 “红队” 策略产生了实质性的影响。

    May, 2024

  • 通过特定层编辑来防御针对大型语言模型的越狱攻击

    通过 Layer-specific Editing (LED) 方法，本研究探讨了大型语言模型（LLMs）对有害提示的反应，并显示出早期层中存在几个关键的安全层。通过将这些安全层与来自选择目标层的解码安全响应进行重新对齐，可以显著提高 LLMs 对破解攻击的适应性。

    May, 2024

  • 通过目标优先级保护大型语言模型抵御越狱攻击

    通过将目标优先级整合到训练和推理阶段，我们提出了一种对抗越狱攻击的方法，显著降低了越狱攻击的成功率，并减少了大型语言模型的潜在安全风险。

    Nov, 2023

  • LLM 越狱攻击与防御技术 -- 综合研究

    该研究对破解大型语言模型（LLMs）及其防御技术进行了全面分析，评估了九种攻击技术和七种防御技术应用于 Vicuna、LLama 和 GPT-3.5 Turbo 三个不同语言模型的效果，并释放了数据集和测试框架，以促进 LLM 安全领域的进一步研究。

    Feb, 2024

  • 通过密码字符对大型语言模型进行越狱以对抗审核管控

    引入 JAMBench 作为一个有害行为基准测试，通过 160 个手工制作的指令来触发和评估适度保护措施；提出了 JAM 方法，通过越过输入级别的过滤器和生成密文字符来绕过输出级别的过滤器，攻击适度保护措施。经过对四个 LLMs 的广泛实验表明，JAM 比基准模型实现更高的越狱成功率（约 19.88 倍）和更低的过滤率（约 1/6 倍）。

    May, 2024