Nov, 2023

MMA-Diffusion：多模态对抗扩散模型

PDF
TL;DR近年来，文本到图像（T2I）模型取得了显著进展并广泛应用，然而这一进展无意中开辟了潜在的滥用途径，尤其是生成不适宜或不安全的内容。我们的工作引入了 MMA-Diffusion，这是一个对 T2I 模型安全性构成严重和真实威胁的框架，通过有效绕过开源模型和商业在线服务的当前防御措施。与以往的方法不同，MMA-Diffusion 利用文本和视觉模式来绕过提示过滤器和事后安全检查器等保护措施，从而揭示现有防御机制的弱点。
发现论文，激发创造
  • 通过多模态数据污染很容易植入后门的文本转图像扩散模型

    本文通过在三个语义层次（像素、物体和风格）上对基于文本到图像转换的扩散模型的后门攻击进行实验和讨论，提出了 BadT2I 攻击框架并利用正则化损失注入恶意输入。实验结果表明，现代扩散模型可以在几个微调步骤内轻易被后门攻击，在进一步的训练过程中攻击效果仍能保持。

    May, 2023

  • 评估文本到图像扩散模型对真实攻击的鲁棒性

    本研究对文本到图像扩散模型进行了鲁棒性评估，考虑到实际应用中可能存在的各种语义一致但现实错误的攻击方式，揭示了该模型的鲁棒性问题。

    Jun, 2023

  • 作弊的后缀：基于多模态先验的针对文本到图像扩散模型的定向攻击

    采用多模态先验信息，我们提出了一种名为 MMP-Attack 的目标攻击方法，它可以在图像内容中添加目标对象并同时删除原始对象。MMP-Attack 相对于现有方法具有更好的普适性和可迁移性，可以有效地攻击商业文本到图像模型（如 DALL-E 3），这是对商业文本到图像模型进行迁移式攻击的首次成功尝试。

    Feb, 2024

  • 扩散模型越强，后门越容易：通过数据投毒实现版权侵权而无需调整微调流程

    通过在精选数据集中插入有毒数据，利用多模式大型语言模型和文本引导的图像修复技术，本研究证实了在触发特定提示时，微调扩散模型可以生成受版权保护的内容，从而揭示了现行版权保护策略中潜在的陷阱，强调了对扩散模型滥用的加强审查和预防措施的必要性。

    Jan, 2024

  • 多模态引导下的图像编辑与文本到图像扩散模型调查

    图像编辑以满足用户特定需求为目标，近年来作为人工智能生成内容 (AIGC) 领域的一项有前景且具有挑战性的研究得到广泛关注。本篇综述针对利用文本转图像扩散模型进行多模态引导的图像编辑技术进行了全面回顾，介绍了综合的图像编辑范畴、各种控制信号和编辑场景，提出了一个统一的框架来规范编辑过程，并分成两个主要算法体系，为用户实现特定目标提供了一个设计空间。另外，对于基于训练的方法，我们讨论了它们的特点和适用场景，并介绍了在不同场景下源图像注入的方案。此外，我们还回顾了将二维技术应用于视频编辑，并突出了解决帧间不一致问题的解决方案。最后，我们讨论了该领域面临的开放性挑战，并提出了潜在的未来研究方向。

    Jun, 2024

  • 通过混合掩膜信息融合提升文本到图像编辑

    基于扩散模型，本文旨在系统性地改进文本引导的图像编辑技术，以解决其局限性，通过在模型的自注意机制中引入人为注释来限制编辑范围，并将编辑后的图像与源图像和构建的中间图像进行融合，实验证明所提出的 ``MaSaFusion'' 显著提高了现有的文本到图像编辑技术。

    May, 2024

  • 不安全的扩散：关于从文本到图像模型生成不安全图像和令人憎恶的表情包

    研究发现最新的文本到图像生成模型可能会生成危险的、令人讨厌的和恶毒的图片，为此提出了多种缓解措施。

    May, 2023

  • 通过扩散模型的类间图片混合提升图像分类

    通过 Diff-Mix 方法进行图像翻译以实现数据增强，实现更好的忠实度和多样性平衡，从而在各种图像分类场景中显著提高性能。

    Mar, 2024

  • GuardT2I：保护文本到图像模型免受对抗性提示攻击

    通过使用生成方法增强文本到图像模型的鲁棒性，GuardT2I 框架在对抗性场景下显著优于 OpenAI-Moderation 和 Microsoft Azure Moderator 等商业解决方案。

    Mar, 2024

  • AltDiffusion: 多语言文本到图像扩散模型

    AltDiffusion 是一种新颖的多语种 T2I 扩散模型，它支持 18 种不同语言，并且在生成高质量图像方面优于现有的 T2I 模型，尤其是在理解文化特定概念方面。

    Aug, 2023