May, 2023

通过多模态数据污染很容易植入后门的文本转图像扩散模型

PDF
TL;DR本文通过在三个语义层次（像素、物体和风格）上对基于文本到图像转换的扩散模型的后门攻击进行实验和讨论，提出了 BadT2I 攻击框架并利用正则化损失注入恶意输入。实验结果表明，现代扩散模型可以在几个微调步骤内轻易被后门攻击，在进一步的训练过程中攻击效果仍能保持。
发现论文，激发创造
  • 扩散模型越强，后门越容易：通过数据投毒实现版权侵权而无需调整微调流程

    通过在精选数据集中插入有毒数据，利用多模式大型语言模型和文本引导的图像修复技术，本研究证实了在触发特定提示时，微调扩散模型可以生成受版权保护的内容，从而揭示了现行版权保护策略中潜在的陷阱，强调了对扩散模型滥用的加强审查和预防措施的必要性。

    Jan, 2024

  • 通过个性化对文本到图像扩散模型进行的零日后门攻击

    研究了个人化的文本到图像（T2I）扩散模型的潜在漏洞和易受攻击的方法，并探讨了两种个性化方法中零日后门漏洞的普遍性及其操作和利用潜力，并分析了触发器和概念图像对攻击效果的影响。

    May, 2023

  • 扩散模型的隐形后门攻击

    本文介绍了一种创新而多功能的优化框架，用于获取不可见的触发器，增强插入后门的隐蔽性和韧性。我们的研究首次展示了在文本引导的图像编辑和修复流程中进行扩散模型后门注入的能力，同时还发现条件生成中的后门直接适用于模型水印验证，进一步提升了所提框架的重要性。多个常用采样器和数据集上的广泛实验证实了所提框架的有效性和隐蔽性。

    Jun, 2024

  • 通过复合触发背门在文本到图像模型中注入偏见

    对文本到图像生成模型中的攻击漏洞进行了研究，证明了通过少量恶意数据样本在特殊触发条件下激活的后门攻击的可行性，突出了在操作限制下证明偏见存在的挑战，并强调了对这些漏洞的强大防御策略的需求。

    Jun, 2024

  • MMA-Diffusion：多模态对抗扩散模型

    近年来，文本到图像（T2I）模型取得了显著进展并广泛应用，然而这一进展无意中开辟了潜在的滥用途径，尤其是生成不适宜或不安全的内容。我们的工作引入了 MMA-Diffusion，这是一个对 T2I 模型安全性构成严重和真实威胁的框架，通过有效绕过开源模型和商业在线服务的当前防御措施。与以往的方法不同，MMA-Diffusion 利用文本和视觉模式来绕过提示过滤器和事后安全检查器等保护措施，从而揭示现有防御机制的弱点。

    Nov, 2023

  • 如何背后入侵扩散模型？

    本论文首次提出 BadDiffusion 攻击框架，实现对扩散模型的背门攻击，并探讨了一些可能的风险缓解方案。

    Dec, 2022

  • 评估文本到图像扩散模型对真实攻击的鲁棒性

    本研究对文本到图像扩散模型进行了鲁棒性评估，考虑到实际应用中可能存在的各种语义一致但现实错误的攻击方式，揭示了该模型的鲁棒性问题。

    Jun, 2023

  • 基于扩散式图像变体的鲁棒训练对抗数据

    隐形功能型后门攻击对训练神经网络构成了严重的安全威胁，本文提出了一种基于扩散模型及知识蒸馏的新方法，能够在潜在受污染的数据集上训练模型，并生成具备对抗后门触发的鲁棒性的学生模型。

    Oct, 2023

  • EmoAttack: 情感对图像传播模型用于情感后门生成

    使用情感文本触发恶意负面内容生成图像的基于文本到图像扩散模型的情感感知背门攻击（EmoAttack）及其解决方法 EmoBooth。

    Jun, 2024

  • 从木马到城墙：揭示扩散模型中的双向后门效应

    生成背门攻击可通过仅污染训练数据而无需篡改原始扩散过程，背门攻击能够对扩散模型产生双向影响，一方面损害了模型功能，另一方面还可以用于背门防御，并且背门触发率增加可以用于检测受到背门污染的训练数据，此外，研究扩散模型的背门效应对于设计反背门图像分类器也具有重要价值。

    Nov, 2023