从对抗可转移性的视角探索潜在扩散模型的对抗攻击

Jan, 2024

从对抗可转移性的视角探索潜在扩散模型的对抗攻击

Exploring Adversarial Attacks against Latent Diffusion Model from the Perspective of Adversarial Transferability

Junxi Chen, Junhao Dong, Xiaohua Xie

TL;DR通过对代理模型属性的调查，从对抗迁移的角度出发，我们发现选择更平滑的代理模型能够显著提高基于蒙特卡罗的对抗样本的性能，同时通过理论分析解释了为什么平滑的代理模型也可以增强潜在扩散模型的对抗样本。

Abstract

Recently, many studies utilized adversarial examples (AEs) to raise the cost of malicious image editing and copyright violation powered by latent diffusion models (LDMs). Despite their successes, a few have studied the

adversarial examples latent diffusion models surrogate model adversarial transferability monte-carlo-based adversarial attack

发现论文，激发创造

从替代训练中理解对抗可迁移性

通过对拟合平滑度和梯度相似度进行权衡，我们揭示了对抗传递的调节机制，发现数据分布移位导致的梯度相似度降级说明了拟合平滑度与梯度相似度之间的贸易协定，并提出了一种更好的替代品构建方法，旨在优化拟合平滑度和梯度相似度，通过数据增强、梯度正则化等技术进行验证。

Jul, 2023

理解和改进潜在扩散模型上的对抗攻击

通过引入全面的理论框架并提出新的对抗性攻击方法，本文对基于 LDM 的对抗性攻击进行了深入研究，通过严格的实验，证明该方法优于现有攻击方法，并能在不同的基于 LDM 的少样本生成流程中进行泛化，成为在新一代强大生成模型中可为暴露于数据隐私和安全风险中的人们提供更强大和高效的保护工具。

Oct, 2023

Mist：面向扩散模型的改进对抗样本

本文研究了扩散模型对于人工智能生成内容，特别是艺术创作的成功，并提出了针对侵权的对抗样本有效性方案。我们探讨了对抗样本的可迁移性问题并利用融合与修改的对抗损失函数明显提高了其可迁移性。实验结果表明我们的方法比现有方法更能生成可迁移且更具有对抗攻击鲁棒性的对抗样本。

May, 2023

通过集成方法实现可转移音频对抗攻击

本研究旨在探究对深度学习语音识别中对抗性样本传递性的影响因素，发现图像与语音识别中对抗性样本传递性的巨大差异，并提出了基于随机梯度集成和动态梯度加权集成的两种新方法，获得了有效的传递性。

Apr, 2023

面向不可察觉和可迁移对抗攻击的扩散模型

论文介绍一种新型的对抗攻击方法 DiffAttack，该方法利用扩散模型的生成和判别能力，在隐空间中生成人类感知不到的、带有语义线索的扰动，并采用内容保持结构。考虑到攻击的传递性，DiffAttack 进一步 “欺骗” 扩散模型，以分散其注意力，达到更好的转移性能，实验结果表明，DiffAttack 在各种模型结构和防御方法下具有更高的攻击成功率。

May, 2023

潜在扩散模型的鲁棒性

该研究通过分析内部组件对白盒健壮性的影响并评估黑盒健壮性，研究了潜在扩散模型的鲁棒性，发现文献中缺少完整的基准数据集，缺陷自动数据集构建管道可提供数据，用以发掘该模型鲁棒性。

Jun, 2023

针对目标转移场景下的视觉 - 语言模型生成高效对抗样本的扩散模型

传统的迁移攻击成本高，噪音明显且对防御方法难以有效回避。本文通过生成自然、非受限的对抗样本，提出了 AdvDiffVLM 方法，利用扩散模型和自适应集成梯度估计改善了传统方法的缺陷，并通过 GradCAM-guided Mask 方法提高了样本质量。实验结果显示，我们的方法在速度上比现有方法快 10 倍至 30 倍，并保持了超强的对抗样本质量。此外，生成的对抗样本在攻击上具有强大的迁移性，并对对抗性防御方法表现出增强的抗性。值得注意的是，AdvDiffVLM 可以以黑盒方式成功攻击商业化的大型视觉语言模型，包括 GPT-4V。

Apr, 2024

Adv-Diffusion: 通过潜在扩散模型实施难以察觉的敌对人脸身份攻击

该研究论文提出了一种统一的框架 Adv-Diffusion，可以在潜在空间而不是原始像素空间中生成不可感知的对抗性身份扰动，利用潜在扩散模型的强大修补能力生成逼真的对抗性图像。通过在周围环境中生成语义扰动的身份敏感条件扩散生成模型，设计了自适应强度的对抗性扰动算法，既能确保攻击的可传递性又能保持隐秘性。在公开的 FFHQ 和 CelebA-HQ 数据集上进行了广泛的定性和定量实验，证明该方法在没有额外的生成模型训练过程的情况下取得了卓越的性能。源代码可在此链接中获取。

Dec, 2023

对对抗传递性的可靠评估

本文重新评估了 12 种常见的对抗样本转移攻击方法，得出结论：对抗转移性经常被高估，在不同的流行模型之间不存在能够传递的单个对抗样本，并提出了一个可靠的基准，包括三个评估协议，以便未来的研究。

Jun, 2023

对抗样本的良性应用：通过对抗样本防止扩散模型模仿绘画

本文介绍了一种基于对抗样本的算法，称为 AdvDM，用于生成能够保护画家版权的扩散模型（DMs）的对抗样本。研究人员通过基于逆向过程采样的不同潜在变量实现了 Monte-Carlo 估计。大量实验表明，估计得到的对抗样本能够有效地阻止 DMs 提取其特征。

Feb, 2023