May, 2024

扰乱传播：基于令牌级别的注意力删除攻击针对基于传播的定制化

PDF
TL;DR本文提出了 DisDiff（Disrupting Diffusion），一种破坏扩散模型输出的新型对抗攻击方法。通过运用 Cross-Attention Erasure 模块来显式 “擦除” 指示的注意力图，并分析扩散模型的采样过程对 PGD 攻击的影响，引入了一种新颖的 Merit Sampling Scheduler 来自适应地调节扰动更新振幅。在两个面部基准和两个常用的提示场景上，我们的 DisDiff 方法在 FDFR 分数上优于现有方法 12.75％，在 ISM 分数上优于现有方法 7.25％。
diffusion-based customizationproactive adversarial attacksdisdiffcross-attention erasuremerit sampling scheduler
发现论文，激发创造
  • 微妙的图像扰动对定制扩散模型造成更高影响

    通过观察到交叉注意力层对梯度变化更加敏感，我们提出了一种简单但通用且高效的方法 CAAT，用于有效地欺骗潜在扩散模型 (LDMs)。我们展示了对图像的微小扰动可以显著影响交叉注意力层，从而在定制扩散模型的微调过程中改变文本与图像之间的映射关系。大量的实验证明，CAAT 与各种扩散模型兼容，并以更有效（更多的噪声）和更高效（比 Anti-DreamBooth 和 Mist 快两倍）的方式优于基线攻击方法。

    Apr, 2024

  • DiffAttack：扩散反对抗净化的逃避攻击

    在这篇论文中，我们提出了一种统一框架 DiffAttack，用于对基于扩散的净化防御进行有效和高效的攻击，包括 DDPM 和基于分数的方法。我们通过在中间扩散步骤引入偏差重建损失来解决梯度消失 / 爆炸问题，提供了一种分段转发 - 反向传播算法，通过降低模型的稳健性减少了针对 CIFAR-10 和 ImageNet 的攻击的准确性。

    Oct, 2023

  • Adv-Diffusion: 通过潜在扩散模型实施难以察觉的敌对人脸身份攻击

    该研究论文提出了一种统一的框架 Adv-Diffusion，可以在潜在空间而不是原始像素空间中生成不可感知的对抗性身份扰动，利用潜在扩散模型的强大修补能力生成逼真的对抗性图像。通过在周围环境中生成语义扰动的身份敏感条件扩散生成模型，设计了自适应强度的对抗性扰动算法，既能确保攻击的可传递性又能保持隐秘性。在公开的 FFHQ 和 CelebA-HQ 数据集上进行了广泛的定性和定量实验，证明该方法在没有额外的生成模型训练过程的情况下取得了卓越的性能。源代码可在此链接中获取。

    Dec, 2023

  • 探索未学习的扩散模型：可转移的对抗攻击视角

    針對高級文字到圖像擴散模型在身份隱私侵犯、版權侵犯和不宜上班的內容生成方面引起的安全問題，本文旨在利用對抗攻擊的可轉移性來探測黑盒情景下的不學習強健性。

    Apr, 2024

  • DiffProtect：使用扩散模型生成对抗样本以实现面部隐私保护

    利用扩散自编码器生成的加密人脸图像，提高了对抗攻击的成功率并提升了视觉质量。

    May, 2023

  • 面向不可察觉和可迁移对抗攻击的扩散模型

    论文介绍一种新型的对抗攻击方法 DiffAttack，该方法利用扩散模型的生成和判别能力，在隐空间中生成人类感知不到的、带有语义线索的扰动，并采用内容保持结构。考虑到攻击的传递性，DiffAttack 进一步 “欺骗” 扩散模型，以分散其注意力，达到更好的转移性能，实验结果表明，DiffAttack 在各种模型结构和防御方法下具有更高的攻击成功率。

    May, 2023

  • 通过对抗解耦增强框架实现面部隐私保护的提示鲁棒性

    本研究提出了一种基于 Adversarial Decoupling Augmentation Framework (ADAF) 的面部隐私保护算法，通过针对图像 - 文本融合模块增强面部隐私保护算法的防御性能，采用多级文本相关增强措施提高对各种攻击者提示的防御稳定性，并在 CelebA-HQ 和 VGGFace2 上进行广泛的实验，证明了 ADAF 比现有算法具有更好的性能。

    May, 2023

  • AdvDiff：使用扩散模型生成无限制的对抗样本

    提出了一种新方法 AdvDiff，使用扩散模型生成无限制的对抗样本，并通过两种新的对抗引导技术在扩散模型的逆生成过程中进行对抗采样，实现了高质量、逼真的对抗样本生成。实验证明，AdvDiff 在攻击性能和生成质量方面优于基于 GAN 的方法。

    Jul, 2023

  • 从文本到掩码：使用文本 - 图像扩散模型的注意力定位实体

    本研究揭示了扩散模型中隐藏的丰富多模态知识的一种新方法，用于分割任务。

    Sep, 2023

  • 透过交叉注意力揭示和减轻文本到图像扩散模型中的记忆化

    研究论文概述：最近的文本到图像扩散模型在生成高质量图像方面展示了显著的能力，但是越来越多的研究表明这些模型从训练数据中记忆并复制图像，引发了对潜在版权侵权和隐私风险的巨大担忧。在这项研究中，我们通过检查交叉注意力机制与记忆现象的关系，提供了一种新的视角来理解这一现象。我们揭示了在记忆过程中，交叉注意力倾向于不成比例地关注特定标记的嵌入。扩散模型对这些标记嵌入进行了过度拟合，记住了相应的训练图像。为了阐明这一现象，我们进一步确定并讨论了与记忆相关的十分内在发现的交叉注意力。基于这些见解，我们提出了一种创新方法来检测和减轻扩散模型中的记忆现象。我们提出的方法的优势是在保留生成图像质量的同时不会影响这些模型的训练或推理过程的速度。

    Mar, 2024