Aug, 2023

揭示扩散模型中的暴露偏差

PDF
TL;DR扩散模型具有令人印象深刻的生成能力，但其所谓的 “曝光偏差” 问题，即训练和抽样之间的输入不匹配，缺乏深入探索。本文通过首先对抽样分布进行分析建模，然后将每个抽样步骤的预测误差归因为曝光偏差问题的根本原因，对扩散模型中的曝光偏差问题进行了系统研究。此外，我们讨论了此问题的潜在解决方案，并提出了一个直观的度量方法。除了阐明曝光偏差问题，我们还提出了一种简单但有效的无需训练的方法，称为 Epsilon Scaling，以缓解曝光偏差。我们通过缩小网络输出（Epsilon）使抽样轨迹明确地接近训练阶段学习到的向量场，减轻了训练和抽样之间的输入不匹配。针对各种扩散框架（ADM，DDPM/DDIM，LDM），无条件和有条件设置以及确定性与随机抽样的实验验证了我们方法的有效性。
发现论文，激发创造
  • 通过时移采样缓解扩散模型中的暴露偏差

    本文研究了扩散模型中存在的曝光偏差，并提出了一种名为 Time-Shift Sampler 的推理方法，该方法可以在不重新训练模型的情况下缓解曝光偏差，并通过实验结果证明了其有效性。

    May, 2023

  • 降低鉴别器引导扩散模型中的曝光偏差

    SEDM-G++ 结合鉴别器引导和 Epsilon 缩放的改进取样方法，解决了扩大偏差的持久问题，提高了生成图像的质量。

    Nov, 2023

  • 输入扰动减少扩散模型中的暴露偏差

    通过加入输入扰动以模拟推理时间预测误差，本文提出了一种简单而有效的训练正则化方法，以减轻 Denoising Diffusion Probabilistic Models 模型中的错误积累现象，并在维持较高的采样质量的同时，显著减少训练和推理时间。

    Jan, 2023

  • 分析和改进扩散模型的训练动力学

    该研究提出了改进 ADM 扩散模型架构以解决不均匀训练、网络激活以及指数移动平均参数的问题，使得图像合成在计算复杂度相等的情况下得到了显著改进。

    Dec, 2023

  • 利用扩散模型中的信号泄漏偏差

    扩散模型中存在一种偏倚，来自信号泄漏的偏差概率分布与噪声概率分布不一致，造成训练和推理过程不匹配。我们展示了当模型针对特定风格进行调整时，信号泄漏偏倚尤为显著，导致次优的风格匹配。最近的研究尝试在训练过程中避免信号泄漏，而我们则展示了如何利用现有扩散模型中的信号泄漏偏倚，以实现对生成图像的更多控制。这使我们能够生成亮度更加多变的图像，并且更好地匹配所期望的风格或颜色。通过对信号泄漏在空间频率和像素域的分布进行建模，并在初始潜在空间中引入一个信号泄漏，我们生成的图像更好地匹配预期结果，无需任何额外的训练。

    Sep, 2023

  • 去偏扩散模型的训练

    通过理论支持，本文提出一种优雅而有效的加权策略，解决了扩散模型中常数加权策略带来的估计偏差问题。并通过实证评估表明，提出的去偏估计方法在样本质量、训练效率和采样效率方面均显著优于基准方法。

    Oct, 2023

  • 曝光扩散：学习如何曝光，用于低光图像增强

    通过结合漏光图像的扩散模型和基于物理的曝光模型，使用残差层筛选出迭代过程中的副作用，从而改进了图像增强方法。该方法适用于真实数据集、不同噪声模型和骨干网络，并且具有更好的泛化能力。

    Jul, 2023

  • 扩散模型的训练数据归因

    使用编码集合的互补模型来评定如何影响扩散模型的输出，可提高模型可解释性，检验训练数据对于模型输出的影响，并作为生成模型

    Jun, 2023

  • 预测模型中潜在的传播采样偏差可证明检测

    本文研究了在从（可能有偏见的）训练数据中学习预测模型，并通过某种审计方法事后评估公平性的一般性情况，通过定量而非定性地评估数据偏差的下游影响并证明检测的理论保证。

    Feb, 2023

  • 通过期望最大化从观测中学习扩散先验

    通过期望最大化算法基于不完整和噪声观测的训练扩散模型，以获得适用于下游任务的正确扩散模型。

    May, 2024