通过新的参数化方法和扩散模型的渐进提炼过程，从而在不降低感知质量的前提下将采样步骤尽量减少到四步，从而提高了采样效率，并为生成建模提供了高效的解决方案。
Feb, 2022
本文介绍了一种将分类器自由引导扩散模型蒸馏为更快采样的方法，以减少推理时间，并取得了与原始模型相当的图像有效性。
Oct, 2022
通过实施分布匹配蒸馏(Distribution Matching Distillation)以及多步扩散输出的大规模结构简单回归损失相匹配的方法，我们将扩散模型转化为一步图像生成器，以显著降低对图像质量的影响，使其在ImageNet 64x64上达到2.62 FID，在无监督COCO-30k上达到11.49 FID，并可通过FP16推理在现代硬件上以20 FPS生成图像。
Nov, 2023
学生样本在质量上优于教师样本，提出了一种基于知识蒸馏的自适应协作方法，以在文本到图像合成中实现更好的效果。
Dec, 2023
通过引入DMD2技术，将Distribution Matching Distillation应用于一步图像生成，通过GAN loss以及多步采样等技巧的改进，在降低推理成本的情况下，取得了在图像生成任务中新的最优结果。
May, 2024
提出了一种基于单次折叠蒸馏算法的教师-学生蒸馏方法，可以在保持高质量合成图像的情况下加速推断并压缩扩散模型，实现语义一致性和有意义的图像插值。
扩散模型的实例教学方法和分布教学方法在图像生成模型方面取得了显著的研究成果，提出的分布教学方法在减少训练图像数量的同时取得了最先进的结果，提高了对高效图像生成模型的理解并为各种应用提供了可扩展的框架。
我们提出了一种新的方法，通过匹配沿采样轨迹给定噪声数据的干净数据的条件期望来将扩散模型加速采样，从而将多步扩散模型提炼为少步模型。我们的方法扩展了最近提出的一步方法到多步情况，并通过以矩匹配的方式解释这些方法，从而提供了一种新的视角。通过使用多达8个采样步骤，我们获得的提炼模型不仅在Imagnet数据集上超越了其一步版本，还超越了原始的多步教师模型，获得了最新的最先进结果。我们还展示了一种大型文本到图像模型的有希望结果，在该模型中，我们可以直接在图像空间中快速生成高分辨率图像，而无需自编码器或上采样器。
Jun, 2024
本研究针对扩散模型在生成图像时面临的重大计算开销问题，提出了一种新颖的一对多知识蒸馏（O2MKD）方法。这一方法通过将单个教师扩散模型蒸馏为多个学生扩散模型，使每个学生模型专注于不同的连续时间步骤，从而显著加快生成速度，实验结果显示在多个数据集上均实现了加速效果。
Oct, 2024
本研究解决了扩散模型生成现实样本时所需的多次采样步骤的问题。提出了一种名为得分隐式匹配（SIM）的新方法，能够将预训练的扩散模型蒸馏为单步生成模型，同时保持几乎相同的样本生成能力，并且不需要训练样本进行蒸馏。实验结果表明，SIM在CIFAR10数据集上的单步生成器表现优异，且成功应用于文本生成图像的转换中。