通过新的参数化方法和扩散模型的渐进提炼过程，从而在不降低感知质量的前提下将采样步骤尽量减少到四步，从而提高了采样效率，并为生成建模提供了高效的解决方案。

Feb, 2022

通过实施分布匹配蒸馏(Distribution Matching Distillation)以及多步扩散输出的大规模结构简单回归损失相匹配的方法，我们将扩散模型转化为一步图像生成器，以显著降低对图像质量的影响，使其在ImageNet 64x64上达到2.62 FID，在无监督COCO-30k上达到11.49 FID，并可通过FP16推理在现代硬件上以20 FPS生成图像。

Nov, 2023

设计了加速常见确定性和随机抽样算法的训练免费算法，加速度确定性和随机抽样器的汇率超过 DDIM 和 DDPM 抽样器的速度。

Mar, 2024

我们引入了Score identity Distillation（SiD），一种创新的无数据方法，将预训练扩散模型的生成能力提炼到一个单步生成器中。通过将前向扩散过程重构为半隐式分布，利用三个与分数相关的身份，创造了一种创新的损失机制。这种机制通过使用自己合成的图像来训练生成器，在大大缩短的生成时间内消除了对真实数据或基于逆扩散的生成的需求，实现了快速的 Fréchet inception distance (FID) 减小。在四个基准数据集上评估后，SiD算法在蒸馏过程中显示出高迭代效率，并超越了在生成质量方面与其竞争的蒸馏方法，无论它们是一步或几步，无数据还是依赖于训练数据。这一成就不仅重新定义了扩散蒸馏中效率和效果的基准，还在更广泛的扩散生成领域中也有着重要的意义。我们的PyTorch实现将在GitHub上公开获取。

Apr, 2024

扩散模型的实例教学方法和分布教学方法在图像生成模型方面取得了显著的研究成果，提出的分布教学方法在减少训练图像数量的同时取得了最先进的结果，提高了对高效图像生成模型的理解并为各种应用提供了可扩展的框架。

May, 2024

我们提出了一种新的方法，通过匹配沿采样轨迹给定噪声数据的干净数据的条件期望来将扩散模型加速采样，从而将多步扩散模型提炼为少步模型。我们的方法扩展了最近提出的一步方法到多步情况，并通过以矩匹配的方式解释这些方法，从而提供了一种新的视角。通过使用多达8个采样步骤，我们获得的提炼模型不仅在Imagnet数据集上超越了其一步版本，还超越了原始的多步教师模型，获得了最新的最先进结果。我们还展示了一种大型文本到图像模型的有希望结果，在该模型中，我们可以直接在图像空间中快速生成高分辨率图像，而无需自编码器或上采样器。

Jun, 2024

该研究解决了扩散模型在取样速度上存在的瓶颈，通过提出一种新的框架，能够自适应地分配计算资源以估计得分，从而减少整体取样时间。研究发现，得分估计所需的计算量会随着时间步变化，提出的早期退出策略能够在不影响图像质量的前提下显著提高取样吞吐量。

Aug, 2024

本研究解决了扩散模型采样速度缓慢的问题，提出了一种新的分布反向追踪蒸馏方法（DisBack）。该方法通过记录教师模型的收敛轨迹并回溯中间分布，实现了比现有蒸馏方法更快的收敛速度和良好的生成性能，具有易于实施和广泛推广的潜力。

Aug, 2024

本研究解决了现代生成AI模型机器遗忘的挑战，提出了一种新的方法——得分遗忘蒸馏（SFD），旨在安全地遗忘不需要的信息。通过将“非安全”类的条件得分与“安全”类对齐，SFD能够在不依赖真实数据的情况下快速实现遗忘，同时保持生成质量，推动了扩散模型生成速度的提升，具有重要的应用价值。

Sep, 2024

本研究针对扩散模型在生成图像时面临的重大计算开销问题，提出了一种新颖的一对多知识蒸馏（O2MKD）方法。这一方法通过将单个教师扩散模型蒸馏为多个学生扩散模型，使每个学生模型专注于不同的连续时间步骤，从而显著加快生成速度，实验结果显示在多个数据集上均实现了加速效果。

Oct, 2024