ICMLJul, 2023

面向互联网规模文本到图像扩散模型的安全自蒸馏

PDF
TL;DR本文提出了一种叫做 SDD 的方法，可以在图像生成模型中避免生成有害内容，该方法相对于之前的方法可以更彻底地除去生成图像中的有害内容，同时保持图像的整体质量，并且能够一次性去除多个概念。
large-scale image generationtext-to-image diffusion modelsproblematic content generationbiasescopyrighted content
发现论文，激发创造
  • 安全隐变扩散：缓解扩散模型中的不当降解

    为了解决当前依赖互联网数据随机抓取并导致人类行为退化和偏见的文本导向图像生成方法在生成图像时存在的问题，我们提出了一种名为安全潜在扩散（SLD）的图像噪声过滤方法，从而通过包含不恰当的图像提示的实际图像 - 文本提示解决了这些问题。经过详尽的实证评估表明，SLD 能够在扩散过程中去除不恰当的图像部分，不需要额外的培训，并且对图像质量或文本对齐没有负面影响。

    Nov, 2022

  • 不安全的扩散：关于从文本到图像模型生成不安全图像和令人憎恶的表情包

    研究发现最新的文本到图像生成模型可能会生成危险的、令人讨厌的和恶毒的图片，为此提出了多种缓解措施。

    May, 2023

  • 不是所有的步骤都相等：选择性扩散蒸馏用于图像操作

    本文介绍了一种名为选择性扩散蒸馏（SDD）的新框架，其在图像处理任务中克服了扩散模型的权衡问题，通过在扩散模型指导下训练前馈图像操作网络和适当选择语义相关的时间步长，获得了图像的保真度和可编辑性。

    Jul, 2023

  • 公平扩散：教导文本到图像生成模型公平性

    通过一项称为公平扩散的新策略，无需数据筛选和额外培训，即可在没有任何偏见的情况下指导生成模型的公平性和防止其加重偏见。

    Feb, 2023

  • 一个类别一个提示：使用扩散模型进行数据集精炼

    利用生成式文本到图像模型的最新进展，我们引入了数据集精炼使用扩散模型 (D3M) 作为一种新的数据集精炼范式。通过文本反演技术，我们利用学习到的文本提示为大型数据集创建简洁且有信息量的表示，以在固定的内存预算内有效地存储和推理新样本，并通过在不同内存预算下在各种计算机视觉基准数据集上进行的广泛实验验证了我们方法的有效性。

    Mar, 2024

  • 扩散模型越强，后门越容易：通过数据投毒实现版权侵权而无需调整微调流程

    通过在精选数据集中插入有毒数据，利用多模式大型语言模型和文本引导的图像修复技术，本研究证实了在触发特定提示时，微调扩散模型可以生成受版权保护的内容，从而揭示了现行版权保护策略中潜在的陷阱，强调了对扩散模型滥用的加强审查和预防措施的必要性。

    Jan, 2024

  • 用于克服扩散模型中概念抑制的概念算术

    通过结合多个提示进行图像生成的分散模型的构成性属性在本文中被利用，提出了对安全措施的攻击方法，并讨论了该发现对安全模型部署的影响。同时，也开启了对分散模型的概念算术和组合推理对安全机制的讨论。

    Apr, 2024

  • 隐私蒸馏：降低多模态扩散模型的再识别风险

    引入隐私蒸馏框架让文本到图像生成模型传授另一个模型而不暴露可识别数据，可以有效地减少再识别风险，同时维持下游性能。

    Jun, 2023

  • MMA-Diffusion：多模态对抗扩散模型

    近年来，文本到图像（T2I）模型取得了显著进展并广泛应用，然而这一进展无意中开辟了潜在的滥用途径，尤其是生成不适宜或不安全的内容。我们的工作引入了 MMA-Diffusion，这是一个对 T2I 模型安全性构成严重和真实威胁的框架，通过有效绕过开源模型和商业在线服务的当前防御措施。与以往的方法不同，MMA-Diffusion 利用文本和视觉模式来绕过提示过滤器和事后安全检查器等保护措施，从而揭示现有防御机制的弱点。

    Nov, 2023

  • 自我发现可解释的扩散潜在方向用于负责任的文本到图像生成

    通过自监督方法找到可解释的潜在方向，提出了一种简单的方法来缓解不合适的图像生成。进行了广泛实验证明了缓解方法的有效性，特别是对于公平生成、安全生成和负责任的文本增强生成。

    Nov, 2023