改进扩散训练的噪声计划
通过检测斑点扩散噪音调度方案，研究发现某些实现方式的差异在训练和推理中会导致模型输出失真，提出了改进措施，包括：规范化噪声调度方案、加入 v 预测、更改采样器以从最后一个时间步开始采样、对无分类器的指导进行缩放，使扩散过程在训练和推理中保持一致，从而更忠实地生成样本。
May, 2023
通过提出的多项式噪声分布和基于正弦函数的课程，本研究调查了噪声分布中高低噪声水平之间的平衡，并提供了一种保持稳定性的噪声分布方法，实验证明多项式噪声分布优于对数正态噪声分布，在去噪性能方面实现了更好的成绩。
Apr, 2024
提出了一种名为 Step-Adaptive Training 的创新训练策略，通过在初始阶段训练一个基础去噪模型来涵盖所有时间步长，然后将时间步长分成不同的组，在每个组内进行微调以实现专门的去噪能力，这种方法不仅提高了模型性能，还显著降低了计算成本。
Dec, 2023
本文研究了扩散模型学习以优化对应丢失函数的加权和（去噪得分匹配损失）来恢复不同噪声水平的嘈杂数据，并提出了恢复受特定噪声水平损坏的数据作为学习丰富视觉概念的适当预先任务的方法，通过重新设计目标函数的加权方案，在训练过程中优先考虑这些噪声水平，我们证明了我们简单的加权方案重构可以显著提高扩散模型的性能。
Apr, 2022
通过研究噪声计划对扩散模型的影响，我们提出了两种确定给定图像集合的合理噪声范围的技术，并设计了一种新的参数化噪声计划，以获得更好的合理性。将此噪声计划应用于已知的扩散模型 EDM 的训练和采样，并将其与默认噪声计划进行比较，结果显示我们的计划将可行设计从 83.4％提高到 93.5％，Fréchet Inception Distance（FID）从 7.84 降低到 4.87。进一步的高级图像编辑工具应用证明了该模型对结构的良好理解。
Nov, 2023
通过对任务困难度、收敛行为和概率分布间相对熵的变化进行综合观察，我们发现较早的时间步骤的去噪任务存在收敛缓慢和相对熵高的挑战，因此我们提出了一个易难混合的学习方案，借鉴了课程学习的思想，在训练过程中将时间步骤或噪声水平划分为难度递减的簇，并按顺序进行模型训练，以从易到难进行去噪任务，从而改变了同时跨越所有时间步骤训练扩散模型的传统方法。我们的方法通过利用课程学习的好处，提高了性能和收敛速度，并与扩散训练技术的现有改进保持正交性。我们通过在无条件生成、类条件生成和文本转图像生成等图像生成任务上的全面实验证实了这些优势。
Mar, 2024
通过对扩散模型的采样调度进行优化，我们提出了一种通用的、有原则的方法，称为 “调整您的步骤”，以实现高质量输出，并观察到我们优化的调度在几乎所有实验中优于以前手工制作的调度。
Apr, 2024
通过在推理过程中整合简约网络并加入一个额外的简单而有效的步骤，One More Step（OMS）方法提高了图像的保真度，并协调训练和推理之间的差异，同时保留了原始模型参数。
Nov, 2023
逆问题研究中的生成模型，特别是扩散模型，对于确定参数具有重要作用。然而，扩散模型对方差调度的选择非常敏感，我们提出了一种新的方法，通过学习过程中训练方差调度，避免了费时的优化过程并得到更好的结果。
Dec, 2023