Dec, 2023

SimAC: 一个简单的防定制方法，用于抵御扩散模型的文本到图像综合

HTML
PDF
TL;DR本研究关注于视觉内容创作中扩散定制方法的隐私和政治问题，并提出了两个方法以增强当前的反定制方法。首先，通过对图像频域中时间步长选择和模型感知之间的关系进行研究，提出了一种自适应贪心搜索的优化方法。其次，通过对去噪过程中不同层次特征的作用进行分析，并设计了一种基于特征的优化框架，从而显著提高了身份干扰，增强了用户的隐私和安全性。
发现论文，激发创造
  • 从扩散模型获取训练数据

    本文研究了图像扩散模型，如DALL-E 2，Imagen和Stable Diffusion，发现它们从训练数据中记忆单个图像并在生成时发射此类图像，总结了此类模型的隐私风险和影响隐私保护培训的新进展。

    Jan, 2023

  • 通过对抗解耦增强框架实现面部隐私保护的提示鲁棒性

    本研究提出了一种基于Adversarial Decoupling Augmentation Framework (ADAF)的面部隐私保护算法，通过针对图像-文本融合模块增强面部隐私保护算法的防御性能，采用多级文本相关增强措施提高对各种攻击者提示的防御稳定性，并在CelebA-HQ和VGGFace2上进行广泛的实验，证明了ADAF比现有算法具有更好的性能。

    May, 2023

  • DiffProtect：使用扩散模型生成对抗样本以实现面部隐私保护

    利用扩散自编码器生成的加密人脸图像，提高了对抗攻击的成功率并提升了视觉质量。

    May, 2023

  • 理解和改进潜在扩散模型上的对抗攻击

    通过引入全面的理论框架并提出新的对抗性攻击方法，本文对基于LDM的对抗性攻击进行了深入研究，通过严格的实验，证明该方法优于现有攻击方法，并能在不同的基于LDM的少样本生成流程中进行泛化，成为在新一代强大生成模型中可为暴露于数据隐私和安全风险中的人们提供更强大和高效的保护工具。

    Oct, 2023

  • Adv-Diffusion: 通过潜在扩散模型实施难以察觉的敌对人脸身份攻击

    该研究论文提出了一种统一的框架 Adv-Diffusion，可以在潜在空间而不是原始像素空间中生成不可感知的对抗性身份扰动，利用潜在扩散模型的强大修补能力生成逼真的对抗性图像。通过在周围环境中生成语义扰动的身份敏感条件扩散生成模型，设计了自适应强度的对抗性扰动算法，既能确保攻击的可传递性又能保持隐秘性。在公开的FFHQ和CelebA-HQ数据集上进行了广泛的定性和定量实验，证明该方法在没有额外的生成模型训练过程的情况下取得了卓越的性能。源代码可在此链接中获取。

    Dec, 2023

  • 扰乱传播：基于令牌级别的注意力删除攻击针对基于传播的定制化

    本文提出了DisDiff（Disrupting Diffusion），一种破坏扩散模型输出的新型对抗攻击方法。通过运用Cross-Attention Erasure模块来显式“擦除”指示的注意力图，并分析扩散模型的采样过程对PGD攻击的影响，引入了一种新颖的Merit Sampling Scheduler来自适应地调节扰动更新振幅。在两个面部基准和两个常用的提示场景上，我们的DisDiff方法在FDFR分数上优于现有方法12.75％，在ISM分数上优于现有方法7.25％。

    May, 2024

  • 欺骗性扩散：生成合成对抗样本

    引入了欺骗扩散的概念--训练生成AI模型以产生具有对抗性的图像。与传统的对抗性攻击算法不同，欺骗扩散模型可以创建任意数量的新的、被错误分类的图像，这些图像与训练或测试图像没有直接关联。欺骗扩散在规模上提供了对抗性训练数据以加强防御算法，包括在其他情况下难以找到的错误分类类型。在我们的实验中，我们还研究了在部分受攻击数据集上进行训练的效果。这突出了生成扩散模型的一种新型漏洞：如果攻击者能够秘密地污染部分训练数据，那么生成的扩散模型将产生相似比例的误导输出。

    Jun, 2024

  • 破坏基于扩散的修复者的语义偏离

    我们提出了一种“偏离指导扩散干扰”框架，通过在语义感知隐藏状态和潜在空间之间最大化距离，实现了比 Photoguard 更强的干扰和更高的成功率，并降低了GPU内存需求，将优化速度提高了三倍。

    Jul, 2024

  • 生成扩散模型的攻击与防御：综合调查

    本研究解决了生成扩散模型（DMs）在安全性方面的重大问题，特别是其易受到多种攻击的弱点。通过全面调查现有攻击和防御方法，作者提出了对不同类型DMs的深入分析，并指出了潜在的防御措施和未来研究方向。该研究的发现为改善DMs的安全性提供了重要的参考，促进了对这一日益重要领域的理解和关注。

    Aug, 2024

  • 无提示对抗扰动的定制扩散模型

    本研究解决了定制扩散模型中存在的隐私泄露和艺术作品未经授权复制等风险，提出了一种无提示对抗扰动（PAP）方法。这种方法通过拉普拉斯近似建模提示分布，并基于建模分布最大化扰动期望，显著提高了对抗攻击的防御稳定性，在人脸隐私和艺术风格保护方面表现出优越的泛化能力。

    Aug, 2024