本论文提出了一种高效、快速和多功能的蒸馏方法，Flash Diffusion，用于加速预训练扩散模型的生成，在 COCO2014 和 COCO2017 数据集上，在少量步骤的图像生成方面表现出最先进的 FID 和 CLIP-Score 性能，只需几个 GPU 小时的训练和比现有方法少得多的可训练参数。

Jun, 2024

通过图像条件实现的一种新颖的有条件蒸馏方法，将扩散模型的先验知识与图像条件相结合，大大简化了以往两阶段的蒸馏过程，并通过少量的额外参数和冻结的无条件主干网络实现了一种新的高效蒸馏机制，实验结果表明，该方法在多个任务上的表现优于现有的人工蒸馏技术，并且是第一个能够与更慢的精细调优有条件扩散模型相匹配的蒸馏策略。

Oct, 2023

本文提出一种名为 BOOT 的方法，该方法使用一种高效的无需数据蒸馏算法，可以有效地学习预测训练模型的输出。我们的方法可以轻而易举地适应难以访问的大规模文本到图像扩散模型，证明了其在处理高度复杂分布上的有效性，为更高效的生成建模提供了启示。

Jun, 2023

通过 EM Distillation 方法，将扩散模型精简至一步生成器模型，以最小损失的感知质量学习最大似然，提高了在 ImageNet-64 和 ImageNet-128 上的 FID 评分，并优于先前在文本到图像扩散模型提取方面的工作。

May, 2024

本论文介绍了一种简单但有效的方法，即将扩散模型直接从初始噪声提炼到生成的图像，使用深度平衡模型作为提炼架构。该方法通过仅使用扩散模型中的噪声 / 图像对进行离线训练，在与现有一步方法相当的训练预算上实现了卓越的性能。

Dec, 2023

通过集成随机微分方程求解器到一致性蒸馏中，提出并验证了 Stochastic Consistency Distillation (SCott) 方法，该方法能够加快文本到图像生成的过程，并且在稳定扩散 - V1.5 模型上，表现优于其他模型在 MSCOCO-2017 5K 数据集上的生成结果。

Mar, 2024

为了解决 Diffusion Probability Models 生成样本所需的采样步骤大量增加的问题，文章提出了一种基于 Catch-Up Distillation (CUD) 的算法，通过多步对齐蒙古采样输出来实现精确 ODE 估计，成功地在 CIFAR-10，MNIST 和 ImageNet-64 数据集上取得了比较优异的效果。

May, 2023

通过新的参数化方法和扩散模型的渐进提炼过程，从而在不降低感知质量的前提下将采样步骤尽量减少到四步，从而提高了采样效率，并为生成建模提供了高效的解决方案。

Feb, 2022

扩散模型的实例教学方法和分布教学方法在图像生成模型方面取得了显著的研究成果，提出的分布教学方法在减少训练图像数量的同时取得了最先进的结果，提高了对高效图像生成模型的理解并为各种应用提供了可扩展的框架。

May, 2024

借助生成性重放的扩散模型的生成蒸馏方法，可以显着提升持续学习性能，只需适度增加计算成本。

Nov, 2023