微妙的图像扰动对定制扩散模型造成更高影响

CVPRApr, 2024

微妙的图像扰动对定制扩散模型造成更高影响

Perturbing Attention Gives You More Bang for the Buck: Subtle Imaging Perturbations That Efficiently Fool Customized Diffusion Models

PDF

Jingyao Xu, Yuetong Lu, Yandong Li, Siyang Lu, Dongdong Wang...

TL;DR通过观察到交叉注意力层对梯度变化更加敏感，我们提出了一种简单但通用且高效的方法 CAAT，用于有效地欺骗潜在扩散模型 (LDMs)。我们展示了对图像的微小扰动可以显著影响交叉注意力层，从而在定制扩散模型的微调过程中改变文本与图像之间的映射关系。大量的实验证明，CAAT 与各种扩散模型兼容，并以更有效（更多的噪声）和更高效（比 Anti-DreamBooth 和 Mist 快两倍）的方式优于基线攻击方法。

Abstract

diffusion models (DMs) embark a new era of generative modeling and offer more opportunities for efficient generating high-quality and realistic data samples. However, their widespread use has also brought forth new challenges in model security, which motivates the creation of more effe

diffusion models adversarial attackers latent diffusion models cross-attention layers perturbations

发现论文，激发创造

扰乱传播：基于令牌级别的注意力删除攻击针对基于传播的定制化

本文提出了 DisDiff（Disrupting Diffusion），一种破坏扩散模型输出的新型对抗攻击方法。通过运用 Cross-Attention Erasure 模块来显式 “擦除” 指示的注意力图，并分析扩散模型的采样过程对 PGD 攻击的影响，引入了一种新颖的 Merit Sampling Scheduler 来自适应地调节扰动更新振幅。在两个面部基准和两个常用的提示场景上，我们的 DisDiff 方法在 FDFR 分数上优于现有方法 12.75％，在 ISM 分数上优于现有方法 7.25％。

May, 2024

面向不可察觉和可迁移对抗攻击的扩散模型

论文介绍一种新型的对抗攻击方法 DiffAttack，该方法利用扩散模型的生成和判别能力，在隐空间中生成人类感知不到的、带有语义线索的扰动，并采用内容保持结构。考虑到攻击的传递性，DiffAttack 进一步 “欺骗” 扩散模型，以分散其注意力，达到更好的转移性能，实验结果表明，DiffAttack 在各种模型结构和防御方法下具有更高的攻击成功率。

May, 2023

提升文本到图像合成中的语义保真度：扩散模型中的注意力调节

我们提出了一种注意力调节方法，通过实时优化来对齐注意力图与输入文本提示，从而解决扩散模型中对某些令牌过分关注而导致语义逼真度下降的问题。在各种数据集、评估指标和扩散模型上进行了实验比较，结果表明我们的方法在减少计算开销的同时，始终优于其他基准方法，生成的图像更加忠实地反映了所需的概念。

Mar, 2024

注意力遇到扰动：通过对抗训练实现鲁棒性和可解释性的注意力机制

本文提出对自然语言处理任务进行通用训练的技术，包括关注力对抗训练（Attention AT）和更易于解释的关注力对抗训练（Attention iAT）。该方法通过引入对抗扰动，增强了句子注意力的差异，提高了模型的预测性能和可解释性，并且尤其适用于关注力机制。实验表明，Attention iAT 在十项任务中表现最佳，并且其结果的注意力与基于梯度的单词重要性的相关性更强。此外，该方法不太依赖于对抗扰动的大小。

Sep, 2020

双重关注抑制攻击：在物理世界中生成对抗伪装

本文提出了双重关注抑制攻击 (Dual Attention Suppression，DAS) 来对抗深度学习模型中的物理对抗性样本，该方法具有模型无关性和人类特定模式，在数字和实体世界中均进行了广泛实验，表明该方法优于当前最先进的对抗性攻击方法。

Mar, 2021

稳定扩散是不稳定的

该研究提出了 Auto-attack on Text-to-image Models（ATM）方法，借助 Gumbel Softmax 分布学习来生成高效、多样的扰动样本，以防止生成模型过分拟合，从而提高模型的稳健性。通过实验分析，发现扰动攻击主要依据于生成速度、多义词、词性和文本长度等因素。

Jun, 2023

从文本到掩码：使用文本 - 图像扩散模型的注意力定位实体

本研究揭示了扩散模型中隐藏的丰富多模态知识的一种新方法，用于分割任务。

Sep, 2023

Adv-Diffusion: 通过潜在扩散模型实施难以察觉的敌对人脸身份攻击

该研究论文提出了一种统一的框架 Adv-Diffusion，可以在潜在空间而不是原始像素空间中生成不可感知的对抗性身份扰动，利用潜在扩散模型的强大修补能力生成逼真的对抗性图像。通过在周围环境中生成语义扰动的身份敏感条件扩散生成模型，设计了自适应强度的对抗性扰动算法，既能确保攻击的可传递性又能保持隐秘性。在公开的 FFHQ 和 CelebA-HQ 数据集上进行了广泛的定性和定量实验，证明该方法在没有额外的生成模型训练过程的情况下取得了卓越的性能。源代码可在此链接中获取。

Dec, 2023

测试时间适应的高效扩散驱动腐败编辑器

利用潜在扩散模型和新引入的损坏建模方案对传统的基于像素扩散的图像修复方案进行改进，从而提高图像修复的鲁棒性和实际性，加快运行速度，并在各种架构和数据集上得到了广泛验证。

Mar, 2024

使用扩散模型的威胁模型不可知对抗性防御

本文介绍了一种在各种威胁模型下生成鲁棒分类器的方法，该方法利用了随机生成建模的最新进展，并利用条件分布采样。通过在被攻击的图像上添加高斯独立同分布噪声，然后进行预训练扩散过程，该方法表现出了可观的鲁棒性。该鲁棒性在 CIFAR-10 数据集上经过了广泛的实验验证，表明我们的方法在各种威胁模型下优于主要的防御方法。

Jul, 2022