本文研究了扩散模型学习以优化对应丢失函数的加权和（去噪得分匹配损失）来恢复不同噪声水平的嘈杂数据，并提出了恢复受特定噪声水平损坏的数据作为学习丰富视觉概念的适当预先任务的方法，通过重新设计目标函数的加权方案，在训练过程中优先考虑这些噪声水平，我们证明了我们简单的加权方案重构可以显著提高扩散模型的性能。

Apr, 2022

对于扩散模型的准确性进行了理论研究，通过梯度下降方法对去噪积分评分匹配的训练和采样过程进行了非渐近收敛分析，并提供了方差爆炸模型的抽样误差分析。通过这两个结果的结合，明确了如何设计有效生成的训练和采样过程。

Jun, 2024

本文提出了一种时间相关的重要性重新加权方法来减轻扩散模型中的数据集偏差，并证明了时间相关密度比方法相较于之前的方法更准确，从而在生成学习中最小化误差传播。通过将时间相关密度比用于重新加权和得分校正，可以获得一个可行的目标函数来重建无偏数据密度。此外，本文理论上建立了与传统得分匹配的联系，并证明了其收敛于无偏分布。实验证据支持了该方法的有效性，它在包括 CIFAR-10、CIFAR-100、FFHQ 和 CelebA 在内的多种偏差设置下胜过了基线方法。

Mar, 2024

通过在模型训练过程中加入约束条件使其生成的样本更符合所施加的约束，从而提高生成样本与约束的一致性，且相较于现有方法有更好的性能且不影响推断速度；该方法还可以自然地防止过拟合。

Mar, 2024

本文使用受非平衡热力学考虑的潜变量模型 —— 扩散概率模型，提出了高质量的图像合成结果。通过根据扩散概率模型和 Langevin 动力学的去噪得分匹配之间的新颖联系设计加权变分界限进行训练，获得了最佳结果；此外，我们的模型自然地采用渐进式有损解压缩方案，可以解释为自回归解码的一般化。在无条件的 CIFAR10 数据集上，我们获得了 9.46 的 Inception 得分和 3.17 的最先进的 FID 得分。在 256x256 LSUN 上，我们获得了与 ProgressiveGAN 相似的样本质量。

Jun, 2020

通过引入自我知觉目标，将扩散模型训练中使用的有噪自动编码器目标与无监督感知网络训练中使用的去噪自动编码器目标关联，我们提出了一种新的扩散模型，可以生成更真实的样本，而不会牺牲样本多样性。

Dec, 2023

扩散模型中存在一种偏倚，来自信号泄漏的偏差概率分布与噪声概率分布不一致，造成训练和推理过程不匹配。我们展示了当模型针对特定风格进行调整时，信号泄漏偏倚尤为显著，导致次优的风格匹配。最近的研究尝试在训练过程中避免信号泄漏，而我们则展示了如何利用现有扩散模型中的信号泄漏偏倚，以实现对生成图像的更多控制。这使我们能够生成亮度更加多变的图像，并且更好地匹配所期望的风格或颜色。通过对信号泄漏在空间频率和像素域的分布进行建模，并在初始潜在空间中引入一个信号泄漏，我们生成的图像更好地匹配预期结果，无需任何额外的训练。

Sep, 2023

通过引入参考样本，将加权条件分数作为更稳定的训练目标，以降低训练目标的协方差，改进扩散模型算法，并在多个数据集上实现了 SOTA FID 的效果。

Feb, 2023

我们在这篇论文中，对扩散模型和数据生成分布之间的 Wasserstein 距离进行了定量上界的推导，该结果不依赖于数据生成分布的得分函数，并且适用于具有有界实例空间的任意数据生成分布，即使这些分布对勒贝格测度没有密度，而且上界不会受到指数依赖的影响。

Dec, 2023

提出基于一致性约束的得分匹配方法，实验结果表明得到了 CIFAR-10 中条件和无条件生成的最新成果和 AFHQ 以及 FFHQ 的基准改进。

Feb, 2023