利用生成式文本到图像模型的最新进展，我们引入了数据集精炼使用扩散模型 (D3M) 作为一种新的数据集精炼范式。通过文本反演技术，我们利用学习到的文本提示为大型数据集创建简洁且有信息量的表示，以在固定的内存预算内有效地存储和推理新样本，并通过在不同内存预算下在各种计算机视觉基准数据集上进行的广泛实验验证了我们方法的有效性。

Mar, 2024

我们提出了一种新的蒸馏方法，可以减少迭代计算过程中无需分类器指导的扩散模型的推理计算时间，并且只需要基础模型的 1％的可训练参数，同时还能维持生成图像的视觉逼真度。

Jun, 2024

通过反向蒸馏、动态适应的位移重构损失和噪声修正技术，我们提出了一种新的蒸馏框架，用于实现高保真度、多样化的样本生成，仅使用一到三个步骤即可。通过大量实验证明，我们的方法在定量指标和人工评估中优于现有竞争对手，仅仅使用三个降噪步骤即可达到与教师模型相当的性能，从而实现了高效高质量的生成。

May, 2024

通过图像条件实现的一种新颖的有条件蒸馏方法，将扩散模型的先验知识与图像条件相结合，大大简化了以往两阶段的蒸馏过程，并通过少量的额外参数和冻结的无条件主干网络实现了一种新的高效蒸馏机制，实验结果表明，该方法在多个任务上的表现优于现有的人工蒸馏技术，并且是第一个能够与更慢的精细调优有条件扩散模型相匹配的蒸馏策略。

Oct, 2023

提出了一种新的方法，通过利用训练教师网络内在归一化层的统计信息来训练生成图像模型，从而在没有训练数据的情况下实现知识迁移、模型压缩和半监督学习，该方法在 CIFAR-10 和 CIFAR-100 数据集上表现出色，并能够将其扩展到 ImageNet 数据集。

Dec, 2020

扩散模型的实例教学方法和分布教学方法在图像生成模型方面取得了显著的研究成果，提出的分布教学方法在减少训练图像数量的同时取得了最先进的结果，提高了对高效图像生成模型的理解并为各种应用提供了可扩展的框架。

May, 2024

本文介绍了一种将分类器自由引导扩散模型蒸馏为更快采样的方法，以减少推理时间，并取得了与原始模型相当的图像有效性。

Oct, 2022

我们提出了一种方法将复杂的多步扩散模型提炼为单步有条件生成对抗网络学生模型，从而大大加速推理过程，同时保持图像质量。我们的方法将扩散提炼解释为一种对应的图像到图像转换任务，使用扩散模型 ODE 轨迹的噪声到图像对。为了进行高效的回归损失计算，我们提出了一种在扩散模型的潜空间中直接操作的感知损失 E-LatentLPIPS，利用增强的集合。此外，我们改进了扩散模型，构建了一个多尺度鉴别器，具有文本对齐损失，建立了一种有效的基于条件生成对抗网络的公式。即使考虑到数据集构建成本，E-LatentLPIPS 也比许多现有的提炼方法更高效。我们证明我们的一步生成器在零样本 COCO 基准测试上优于最先进的一步扩散提炼模型 - DMD、SDXL-Turbo 和 SDXL-Lightning。

May, 2024

通过引入 DMD2 技术，将 Distribution Matching Distillation 应用于一步图像生成，通过 GAN loss 以及多步采样等技巧的改进，在降低推理成本的情况下，取得了在图像生成任务中新的最优结果。

May, 2024

本论文提出了一种高效、快速和多功能的蒸馏方法，Flash Diffusion，用于加速预训练扩散模型的生成，在 COCO2014 和 COCO2017 数据集上，在少量步骤的图像生成方面表现出最先进的 FID 和 CLIP-Score 性能，只需几个 GPU 小时的训练和比现有方法少得多的可训练参数。

Jun, 2024