Mar, 2024

透过交叉注意力揭示和减轻文本到图像扩散模型中的记忆化

PDF
TL;DR研究论文概述：最近的文本到图像扩散模型在生成高质量图像方面展示了显著的能力，但是越来越多的研究表明这些模型从训练数据中记忆并复制图像，引发了对潜在版权侵权和隐私风险的巨大担忧。在这项研究中，我们通过检查交叉注意力机制与记忆现象的关系，提供了一种新的视角来理解这一现象。我们揭示了在记忆过程中，交叉注意力倾向于不成比例地关注特定标记的嵌入。扩散模型对这些标记嵌入进行了过度拟合，记住了相应的训练图像。为了阐明这一现象，我们进一步确定并讨论了与记忆相关的十分内在发现的交叉注意力。基于这些见解，我们提出了一种创新方法来检测和减轻扩散模型中的记忆现象。我们提出的方法的优势是在保留生成图像质量的同时不会影响这些模型的训练或推理过程的速度。
text-to-image diffusion modelsmemorization phenomenoncross-attention mechanismscopyright infringementprivacy risks
发现论文，激发创造
  • 文本到图像扩散模型中的记忆化分析实践

    对文本引导的图像生成模型进行了记忆化分析，提出三个必要条件进行定量分析，并利用反演技术验证目标图像的安全性，同时对稳定扩散模型进行了有效性实验证明。

    May, 2024

  • 内存触发器：通过词级重复揭示文本到图像生成模型中的记忆化

    该研究聚焦于扩散模型中两种不同而未被充分研究的重复现象，即在扩散模型中的冗余复制，通过两个案例研究探讨了这些现象及其影响，旨在对生成模型在各种应用中进行更安全、更负责任的使用做出贡献。

    Dec, 2023

  • 扩散模型中的记忆图像共享一个可定位和删除的子空间

    大规模的文本到图像扩散模型在从文本输入中生成高质量图像方面表现出色，然而研究表明它们倾向于记忆和复制训练数据，引起了版权侵犯和隐私问题。本文针对扩散模型中的记忆问题，通过剪枝特定子空间的权重提出了一种后处理方法，避免了破坏训练或推理过程，从而展示了一个实用且全面的解决记忆问题的新途径。同时展示了经剪枝的模型对于训练数据提取攻击的鲁棒性，揭示了新的解决记忆问题的可能性。

    Jun, 2024

  • 理解和减轻扩散模型中的复制现象

    分析了文本到图像扩散模型中的记忆问题，提出了减少训练和推理时间中数据复制的几种技术。

    May, 2023

  • 从文本到掩码：使用文本 - 图像扩散模型的注意力定位实体

    本研究揭示了扩散模型中隐藏的丰富多模态知识的一种新方法，用于分割任务。

    Sep, 2023

  • 提升文本到图像合成中的语义保真度：扩散模型中的注意力调节

    我们提出了一种注意力调节方法，通过实时优化来对齐注意力图与输入文本提示，从而解决扩散模型中对某些令牌过分关注而导致语义逼真度下降的问题。在各种数据集、评估指标和扩散模型上进行了实验比较，结果表明我们的方法在减少计算开销的同时，始终优于其他基准方法，生成的图像更加忠实地反映了所需的概念。

    Mar, 2024

  • 文本图像生成模型中（非）预期记忆的理解

    多模态机器学习中的文本到图像模型，如 Stable Diffusion 和 DALL-E 3，以将文本转化为详细图像而变得重要。本文介绍了一种专门针对文本到图像模型的记忆定义，并根据用户期望将其分为三种不同类型。我们对意图记忆和非意图记忆之间的微妙差异进行了详细研究，并强调在模型输出的生成质量和用户隐私之间平衡的重要性。通过使用 Stable Diffusion 模型，我们提供了示例来验证我们的记忆定义并阐明其应用。

    Dec, 2023

  • 如何在文本图像扩散模型中检测未经授权的数据使用

    通过向受保护的数据集中注入记忆注入，我们提出了一种检测未经授权的数据使用的方法，分析模型是否对注入内容进行了记忆，从而可以检测非法使用未经授权数据的情况。

    Jul, 2023

  • 利用扩散模型的时空关注力实现高保真度文本到图像合成

    本文提出了一种新的文本到图像算法，通过在扩散模型中加入显式的空间 - 时间交叉注意力控制，利用布局预测器和空间注意力控制相结合，实现优化组合权重的方式，从而生成与文本更高保真的图像。

    Apr, 2023

  • 基于关注重心的文本到图像的合成

    本研究提出了两个新的损失函数，用于在采样过程中根据给定的布局重新聚焦注意力图，以解决在多个对象、属性和空间组合都涉及到的情况下现有文本到图像综合方法无法精确遵循文本提示的问题，并通过 Large Language Models 合成的布局在 DrawBench 和 HRS 基准测试中进行了全面实验，证明了我们提出的方法可以轻松有效地集成到现有的文本到图像方法中，并始终提高其生成图像与文本提示之间的对齐度。

    Jun, 2023