提出了快速扩散模型（FDM），它将扩散模型（DM）的扩散过程从随机优化角度进行改进，以加速训练和采样。实验证明，FDM 可以应用于多种流行的 DM 框架，并在 CIFAR-10、FFHQ 和 AFHQv2 数据集上具有可比的图像合成性能。而且，FDM 通过将采样步骤减少约 3 倍来实现相似的性能，从而将训练成本降低约 50％。

Jun, 2023

扩散模型在图像生成、解决逆问题和文本到图像合成等各种应用中展示了领先的性能。我们揭示了与大多数其他生成模型截然不同的 “一致模型可重现性” 现象，通过广泛的实验表明，扩散模型在相同初始噪声输入和确定性求解器采样时，倾向于产生几乎相同的输出内容。此模型可重现性在不同的训练环境下均成立，包括记忆化和泛化模式。进一步的分析提供了对 “记忆化模式” 中模型可重现性的理论解释，并揭示此有价值的特性适用于许多扩散模型的变种。更深入理解此现象有可能产生基于扩散模型的更可解释和可控的数据生成过程。

Oct, 2023

本综述主要介绍了最近视觉领域中扩散模型的进展，特别是那些影响扩散模型计算效率的重要设计方面，重点是强调了最近提出的设计选择，这些选择导致更高效的扩散模型。

Oct, 2022

扩散模型及一致性模型结合的双向一致性模型能够通过学习单个神经网络在概率流常微分方程上实现向前和向后遍历，从而实现一步生成和反演，且可用额外步骤提高生成质量或减少重建误差，并在插值、修复等下游任务中展现出强大的能力，包括恢复压缩图像和抵御黑盒对抗攻击。

Mar, 2024

通过扩散模型（Diffusion Models），我们在生成高质量图像方面取得了重要进展，通过系统研究不同扩散模型架构的关键方面，如噪声调度、采样器和引导，我们深入探索了这些模型的核心操作原理。通过全面分析这些模型，我们揭示了它们隐藏的基础机制，揭示了对其有效性至关重要的隐藏关键因素。我们的分析强调了决定模型性能的隐藏关键因素，为扩散模型的发展提供了见解。

Feb, 2024

通过对任务困难度、收敛行为和概率分布间相对熵的变化进行综合观察，我们发现较早的时间步骤的去噪任务存在收敛缓慢和相对熵高的挑战，因此我们提出了一个易难混合的学习方案，借鉴了课程学习的思想，在训练过程中将时间步骤或噪声水平划分为难度递减的簇，并按顺序进行模型训练，以从易到难进行去噪任务，从而改变了同时跨越所有时间步骤训练扩散模型的传统方法。我们的方法通过利用课程学习的好处，提高了性能和收敛速度，并与扩散训练技术的现有改进保持正交性。我们通过在无条件生成、类条件生成和文本转图像生成等图像生成任务上的全面实验证实了这些优势。

Mar, 2024

提出了一种名为 Step-Adaptive Training 的创新训练策略，通过在初始阶段训练一个基础去噪模型来涵盖所有时间步长，然后将时间步长分成不同的组，在每个组内进行微调以实现专门的去噪能力，这种方法不仅提高了模型性能，还显著降低了计算成本。

Dec, 2023

扩散模型的实例教学方法和分布教学方法在图像生成模型方面取得了显著的研究成果，提出的分布教学方法在减少训练图像数量的同时取得了最先进的结果，提高了对高效图像生成模型的理解并为各种应用提供了可扩展的框架。

May, 2024

一种训练一致性模型的替代方案，通过表达常态模型轨迹的微分方程，提高训练效率，并显示出经典的幂律缩放规律。

Jun, 2024

本文提出了一种统计理论，将一致性模型的训练视为分布差异最小化问题，并通过使用 Wasserstein 距离，导出了与传统扩散模型相匹配的一致性模型的统计估计速率，同时揭示了一致性模型通过蒸馏和隔离方法进行训练的优势。

Jun, 2024