Sep, 2023

利用扩散模型中的信号泄漏偏差

PDF
TL;DR扩散模型中存在一种偏倚，来自信号泄漏的偏差概率分布与噪声概率分布不一致，造成训练和推理过程不匹配。我们展示了当模型针对特定风格进行调整时，信号泄漏偏倚尤为显著，导致次优的风格匹配。最近的研究尝试在训练过程中避免信号泄漏，而我们则展示了如何利用现有扩散模型中的信号泄漏偏倚，以实现对生成图像的更多控制。这使我们能够生成亮度更加多变的图像，并且更好地匹配所期望的风格或颜色。通过对信号泄漏在空间频率和像素域的分布进行建模，并在初始潜在空间中引入一个信号泄漏，我们生成的图像更好地匹配预期结果，无需任何额外的训练。
发现论文，激发创造
  • 扩散模型的安全性研究：基于梯度引导的扩散模型导致严重数据泄漏

    通过扩散模型并利用梯度指导的微调方法，我们提出了一种新的重建攻击方法，可通过泄露的梯度从图像处理系统中窃取私密的高分辨率图像。实验结果表明，我们的攻击方法能够成功恢复和窃取分辨率高达 512 x 512 像素的图像。此外，我们的攻击方法在图像重建的像素级准确性和时间效率方面明显优于其他攻击基准方法，并在一定程度上使差分隐私失效。

    Jun, 2024

  • 去偏扩散模型的训练

    通过理论支持，本文提出一种优雅而有效的加权策略，解决了扩散模型中常数加权策略带来的估计偏差问题。并通过实证评估表明，提出的去偏估计方法在样本质量、训练效率和采样效率方面均显著优于基准方法。

    Oct, 2023

  • 振荡泄密：微调扩散模型能够放大生成的隐私风险

    扩散模型存在隐私风险，其中 Shake-to-Leak (S2L) 是一种新的风险，通过操纵数据以微调预训练模型，可以增强现有的隐私风险，尤其在扩散模型下还比过去认识的更严重。

    Mar, 2024

  • 从扩散模型获取训练数据

    本文研究了图像扩散模型，如 DALL-E 2，Imagen 和 Stable Diffusion，发现它们从训练数据中记忆单个图像并在生成时发射此类图像，总结了此类模型的隐私风险和影响隐私保护培训的新进展。

    Jan, 2023

  • 揭示扩散模型中的暴露偏差

    扩散模型具有令人印象深刻的生成能力，但其所谓的 “曝光偏差” 问题，即训练和抽样之间的输入不匹配，缺乏深入探索。本文通过首先对抽样分布进行分析建模，然后将每个抽样步骤的预测误差归因为曝光偏差问题的根本原因，对扩散模型中的曝光偏差问题进行了系统研究。此外，我们讨论了此问题的潜在解决方案，并提出了一个直观的度量方法。除了阐明曝光偏差问题，我们还提出了一种简单但有效的无需训练的方法，称为 Epsilon Scaling，以缓解曝光偏差。我们通过缩小网络输出（Epsilon）使抽样轨迹明确地接近训练阶段学习到的向量场，减轻了训练和抽样之间的输入不匹配。针对各种扩散框架（ADM，DDPM/DDIM，LDM），无条件和有条件设置以及确定性与随机抽样的实验验证了我们方法的有效性。

    Aug, 2023

  • 扩散模型中的流形导向采样用于无偏图像生成

    本文提出了一种通过使用流形引导来减轻扩散模型中数据偏置的方法，该方法可以在不改变模型架构或需要标签或重新训练的情况下，改善生成图像的品质和无偏性。

    Jul, 2023

  • 利用有损扩散模型增强图像布局控制

    扩散模型为一种强大的生成模型，能够从纯噪声中生成高质量的图像。条件扩散模型通过简单的文本提示能够指定所需图像的内容，然而，仅仅基于文本提示无法对最终图像的构成和布局进行细致的控制，而这取决于初始噪声分布。本文探讨了两种改进方法，并演示了当这两种方法结合使用时可以获得更好的性能。

    May, 2024

  • 扩散式人脸生成模型的偏差分析

    本论文探究了扩散模型在人脸生成中存在的偏见来源，如性别、种族和年龄等属性，并调查了数据集大小对不同属性类别下扩散模型和对抗生成网络（GAN）模型的属性组成和感知质量的影响，结果发现扩散模型往往会恶化训练数据的分布偏见，同时受到数据集大小的影响，而拥有较多样本的平衡数据集训练的 GAN 模型在不同属性方面表现出较小的偏差。

    May, 2023

  • DiffInject: 通过基于扩散的样式注入重新审视去偏倚

    通过使用预先训练的扩散模型，我们提出了一种名为 DiffInject 的简单而强大的方法，用于增强合成的偏置冲突样本，从而显著推进了扩散模型在去偏置中的应用。该方法不需要对偏置类型或标记进行明确的了解，使其成为一个完全无监督的去偏置设置。我们的方法在有效降低数据集偏差方面表现出显著的结果。

    Jun, 2024

  • 感知优先的弥散模型训练

    本文研究了扩散模型学习以优化对应丢失函数的加权和（去噪得分匹配损失）来恢复不同噪声水平的嘈杂数据，并提出了恢复受特定噪声水平损坏的数据作为学习丰富视觉概念的适当预先任务的方法，通过重新设计目标函数的加权方案，在训练过程中优先考虑这些噪声水平，我们证明了我们简单的加权方案重构可以显著提高扩散模型的性能。

    Apr, 2022