May, 2024

通过概念领域修正和概念保持梯度，从扩散模型中去除概念

PDF
TL;DR通过对抗训练对齐敏感概念和锚定概念的输出领域，提出了一种用于扩展模型对概念擦除的概念领域校正框架，并且基于梯度修剪设计了一个能够减轻卸载梯度中与重新学习梯度相矛盾的部分的概念保留方案，从而在保留模型效用的同时解决了扩散模型中概念卸载的挑战问题。
text-to-image diffusion modelsmachine unlearningconcept erasuregeneralization issuesutility drop
发现论文，激发创造
  • 用少样本反学习从文本到图像扩散模型中消除概念

    通过更新文本编码器使用少量真实图像，我们提出了一种新颖的概念擦除方法，可以在 10 秒内擦除概念，实现了比当前方法快数十到数百倍的概念擦除，隐含地过渡到相关概念，实现更自然的概念擦除。

    May, 2024

  • 扩散模型中鲁棒概念抹除的对抗训练防御性遗忘

    通过将对抗训练 (AT) 的原则融入机器遗忘的过程，本研究提出了一种稳健遗忘框架（AdvUnlearn），以提高概念遗忘的鲁棒性。通过实验证明，在各种概念遗忘场景中，AdvUnlearn 在鲁棒性上的优势，以及与模型效用之间的平衡取得了成功。

    May, 2024

  • ConceptPrune: 通过技能神经元修剪在扩散模型中进行概念编辑

    我们提出了一种简单而有效的无需训练的方法，ConceptPrune，通过首先确定在预训练模型中负责生成不良概念的关键区域，从而以权重修剪的方式便捷地实现概念去学习。实验证明，我们的方法能够高效擦除多个目标概念，仅修剪总权重的约 0.12%，并对多种白盒和黑盒对抗攻击具有鲁棒性。

    May, 2024

  • 只保留模型的手术概念擦除在文本到图像扩散模型中

    通过手术更新分类器导向项、限制无条件得分项的变化，以及赋予用户选择擦除概念的替代方案的能力，我们提出了一种能够有效擦除目标概念并保留生成能力的新方法。

    Dec, 2023

  • 探索未学习的扩散模型：可转移的对抗攻击视角

    針對高級文字到圖像擴散模型在身份隱私侵犯、版權侵犯和不宜上班的內容生成方面引起的安全問題，本文旨在利用對抗攻擊的可轉移性來探測黑盒情景下的不學習強健性。

    Apr, 2024

  • 扩散模型中的可分离多概念擦除

    我们提出了一种可分离的多概念擦除（SepME）方法，包括概念无关表示的生成和权重解耦，用于解决大规模扩散模型中的版权问题和概念恢复问题。通过其他已知不良概念计算的解决方案的线性组合，我们的方法在去除概念、保留模型性能以及灵活擦除或恢复各种概念方面具有良好的效果。

    Feb, 2024

  • EraseDiff: 擦除传播模型中的数据影响

    通过在扩散模型中引入一种取消学习算法，以解决与数据遗忘和隐私保护相关的问题。我们将取消学习问题建模为一个双层优化问题，并采用一阶方法来解决该问题，从而在保留模型效用的同时清除与忘记数据相关的信息。在实验证明我们的算法能够有效地移除两个广泛使用的扩散模型中的数据，并在条件和非条件图像生成场景中保持模型的效用、有效性和效率。

    Jan, 2024

  • 扩散模型中的强鲁棒概念擦除修剪

    通过选择性修剪与要移除的概念相关的关键参数，改进了概念擦除技术的稳健性，并通过抵抗对抗性输入的实验结果证明了显著改进

    May, 2024

  • 安全驱动的未学习扩散模型是否生成？对于现在来说，仍然易于生成不安全的图像

    我们提出了一种基于对抗攻击的评估框架，用于评估安全驱动的模型在消除不需要的概念、风格和对象方面的鲁棒性，证明了我们的方法在与最先进的对抗提示方法进行对比时的效果和效率。

    Oct, 2023

  • 利用可学习的提示在文本到图像生成模型中去除不需要的概念

    我们提出了一种新的方法，通过将可学习提示引入交叉注意力模块，从文本到图像生成模型中去除不良概念。这种可学习提示作为额外的记忆来传递不良概念的知识，并减少这些概念对模型参数和对应文本输入的依赖。通过这种知识传递，擦除这些不良概念更稳定，并对其他概念的负面影响较小。我们在稳定扩散模型上展示了我们方法的有效性，展示了它在去除不良内容同时保留其他无关元素方面的优越性。

    Mar, 2024