Jun, 2024

安全对齐不应仅限于几个标记

PDF
TL;DR当前大型语言模型（LLM）存在的安全对齐问题容易受到攻击，我们称之为浅安全对齐问题。本文通过案例研究解释了为什么浅安全对齐问题存在，并提供证据表明目前的安全对齐 LLMs 受到此问题的影响。我们还展示了这些发现如何帮助解释最近发现的 LLMs 的多个漏洞，包括对敌对性后缀攻击、填充攻击、解码参数攻击和微调攻击的敏感性。同时，我们讨论了浅安全对齐的综合概念如何为减轻这些漏洞指明了有价值的研究方向，并提出了一种通过限制对初始标记的更新来使安全对齐更具持久性的正则化微调目标。总之，我们主张未来的安全对齐应该超越前几个标记而更加深入。
发现论文，激发创造
  • 暗影对齐：篡改安全对齐语言模型的容易程度

    开源大型语言模型（LLMs）的安全性需要加固以防止恶意攻击，本研究通过引入 Shadow Alignment 概念，展示了仅利用少量数据即可使安全对齐的 LLMs 适应有害任务而不损害其帮助性，并通过实验证明这种攻击的有效性及其跨不同模型和语言的成功转移。

    Oct, 2023

  • 自然语言处理中的安全对齐：以上下文攻击为例的弱对齐摘要

    大型语言模型（LLMs）的有用性和安全性的平衡发展引发了一个关键问题：主流 NLP 任务是否与安全考虑足够一致？我们的研究聚焦于通过对抗性攻击获得的安全敏感文档，揭示了各种 NLP 任务的安全对齐存在显著差异。例如，LLMs 可以有效地总结恶意长文档，但常常拒绝将其翻译。这种差异突显了一种以前未被发现的漏洞：攻击利用安全对齐较弱的任务，如总结，可能危及传统上被认为更稳健的任务的完整性，例如翻译和问答（QA）。此外，同时使用具有较弱安全对齐的多个 NLP 任务会增加 LLMs 无意中处理有害内容的风险。我们在各种安全对齐的 LLMs 中展示了这些漏洞，特别是在 Llama2 模型和 GPT-4 中，这表明迫切需要加强 NLP 任务的安全对齐。

    Dec, 2023

  • 对中间隐藏状态的介绍解释 LLM 安全性：关于对齐和越狱的工作方式

    本研究通过弱分类器解释大型语言模型的安全性，确认在预训练阶段 LLMs 学习道德概念而不是对齐，揭示了安全对其生成的恶意内容的抵御机制，以及越过安全限制的越狱行为对 LLM 安全的影响，从而提供了 LLM 安全的内在机制和减轻担忧的新视角。

    Jun, 2024

  • SafeAligner: 通过响应差异指导防御越狱攻击的安全对齐

    SafeAligner 是一种在解码阶段实施的方法，用于增强抵御越狱攻击的防御能力，通过利用特定模型之间响应的安全性差异以区分有害和有益的标记，从而指导安全对齐并确保安全对齐，同时最小限度地损失普适性。

    Jun, 2024

  • 模拟非对齐：大规模语言模型的安全对齐可能适得其反！

    通过推出一种推理时攻击框架，研究表明安全对齐也可能在对抗性操作下无意中促进有害结果，实验证明其能够提高预训练模型的有害程度并在大多数评估子集中取得最高有害率，从而强调重评估安全对齐后的开源语言模型的重要性。

    Feb, 2024

  • 大规模语言模型的惰性安全对齐防止有害微调

    通过精细调整的安全对齐技术，解决了大型语言模型在混合有害数据的数据集上进行微调后可能出现的问题，提出了一种双状态优化解决方案，引入了近端项来限制状态的偏移，实验证明这种方法可以显著提高对齐性能并保持用户任务上的准确性。

    May, 2024

  • 基于子空间导向模型融合的大型语言模型安全重整框架

    通过子空间导向模型融合（SOMF）的安全重新对齐框架，本研究旨在将初始对齐模型和当前精细调整后的模型的安全能力结合到重新对齐的模型中，验证了该框架在维持安全性的同时不明显损害下游任务的性能。

    May, 2024

  • 在大型语言模型的优化过程中测量风险：导航安全景观

    通过测量和可视化大型语言模型（LLMs）的安全景观，我们发现了一种称为 “安全盆地” 的普遍现象，该现象在流行的开源 LLMs 模型参数空间中观察到。我们提出了一种新的安全度量标准，VISAGE 安全度量标准，用于通过探测安全景观来衡量 LLMs 微调的安全性，并通过可视化的安全景观了解 LLMs 通过微调如何降低其安全性。LLMs 的安全景观还突出了系统提示在保护模型中的关键作用，并且这种保护通过其在安全盆地内的扰动变体进行传递。我们的安全景观研究的观察结果为未来关于 LLMs 安全性的工作提供了新的见解。

    May, 2024

  • 伪对齐：LLMs 真的对齐良好吗？

    该研究探讨了大型语言模型的安全性问题，并指出其在多项选择问题和开放性问题之间性能存在显著差异，可能是由于不完全理解安全概念导致了虚假的对齐现象。为了解决这个问题，引入了 FAEF 框架和两个新的指标，Consistency Score (CS) 和 Consistent Safety Score (CSS)，以综合评估和纠正性能估计偏差。应用 FAEF 框架到 14 个广泛使用的大型语言模型后，发现虽然之前它们被视为安全模型，但在实践中它们的对齐程度不高，突显了现有对齐方法的局限性。

    Nov, 2023

  • 面向医学领域的安全对齐大型语言模型

    本文首次对医学 LLMs 进行了安全评估，讨论了医学 LLMs 的安全和对齐性，并展示了微调作为有效的缓解策略，希望这项工作能够启发未来的研究，并开发出更多的缓解策略，以减少医学 LLMs 在医学领域中的潜在风险。

    Mar, 2024