扩散模型中的强鲁棒概念擦除修剪
我们提出了一种简单而有效的无需训练的方法,ConceptPrune,通过首先确定在预训练模型中负责生成不良概念的关键区域,从而以权重修剪的方式便捷地实现概念去学习。实验证明,我们的方法能够高效擦除多个目标概念,仅修剪总权重的约 0.12%,并对多种白盒和黑盒对抗攻击具有鲁棒性。
May, 2024
通过更新文本编码器使用少量真实图像,我们提出了一种新颖的概念擦除方法,可以在 10 秒内擦除概念,实现了比当前方法快数十到数百倍的概念擦除,隐含地过渡到相关概念,实现更自然的概念擦除。
May, 2024
通过手术更新分类器导向项、限制无条件得分项的变化,以及赋予用户选择擦除概念的替代方案的能力,我们提出了一种能够有效擦除目标概念并保留生成能力的新方法。
Dec, 2023
从文本到图像生成模型到 AI 安全的概念消除方法,这篇论文研究了五种最近提出的概念消除方法,并展示了这些方法中没有一个能完全抹除目标概念,并通过利用特殊的学习词嵌入证明了目标概念可以从消除后的模型中找回,这突显了事后概念消除方法的脆弱性,并对其在 AI 安全算法工具箱中的使用产生了质疑。
Aug, 2023
通过将对抗训练 (AT) 的原则融入机器遗忘的过程,本研究提出了一种稳健遗忘框架(AdvUnlearn),以提高概念遗忘的鲁棒性。通过实验证明,在各种概念遗忘场景中,AdvUnlearn 在鲁棒性上的优势,以及与模型效用之间的平衡取得了成功。
May, 2024
通过使用轻量级橡皮擦实现可靠的概念消除,本研究提出了 Receler;通过提出的概念本地化正则化和对抗性提示学习,增强了局部性和鲁棒性;与之前的擦除方法相比,通过各种概念提示进行了全面的定量和定性实验证实了 Receler 的优越性。
Nov, 2023
通过对抗训练对齐敏感概念和锚定概念的输出领域,提出了一种用于扩展模型对概念擦除的概念领域校正框架,并且基于梯度修剪设计了一个能够减轻卸载梯度中与重新学习梯度相矛盾的部分的概念保留方案,从而在保留模型效用的同时解决了扩散模型中概念卸载的挑战问题。
May, 2024
我们提出了一种新的方法,通过将可学习提示引入交叉注意力模块,从文本到图像生成模型中去除不良概念。这种可学习提示作为额外的记忆来传递不良概念的知识,并减少这些概念对模型参数和对应文本输入的依赖。通过这种知识传递,擦除这些不良概念更稳定,并对其他概念的负面影响较小。我们在稳定扩散模型上展示了我们方法的有效性,展示了它在去除不良内容同时保留其他无关元素方面的优越性。
Mar, 2024
通过引入新数据集 Six-CD 和新评估指标,我们对文本到图像扩散模型中的概念去除方法进行了细致评估,并提供了有价值的观察和讨论。
Jun, 2024