我们引入了 Score identity Distillation（SiD），一种创新的无数据方法，将预训练扩散模型的生成能力提炼到一个单步生成器中。通过将前向扩散过程重构为半隐式分布，利用三个与分数相关的身份，创造了一种创新的损失机制。这种机制通过使用自己合成的图像来训练生成器，在大大缩短的生成时间内消除了对真实数据或基于逆扩散的生成的需求，实现了快速的 Fréchet inception distance (FID) 减小。在四个基准数据集上评估后，SiD 算法在蒸馏过程中显示出高迭代效率，并超越了在生成质量方面与其竞争的蒸馏方法，无论它们是一步或几步，无数据还是依赖于训练数据。这一成就不仅重新定义了扩散蒸馏中效率和效果的基准，还在更广泛的扩散生成领域中也有着重要的意义。我们的 PyTorch 实现将在 GitHub 上公开获取。

Apr, 2024

通过对分类器无关指导在分数蒸馏中的作用进行重新评估，我们发现了一个令人惊讶的发现：仅仅用指导就足够进行有效的文本到 3D 生成任务。我们称之为分类器分数蒸馏（CSD）方法，它可以理解为使用隐式分类模型进行生成。这种新视角揭示了对现有技术的新见解。我们在形状生成、纹理合成和形状编辑等各种文本到 3D 任务中验证了 CSD 的有效性，取得了优于现有方法的结果。

Oct, 2023

利用无图像数据的方法，采用新型熟练的学生网络模型 SwiftBrush 进行模型蒸馏，实现可生成高保真图像的一步式文本到图像生成，并且在 COCO-30K 基准测试上取得了竞争性结果或显著超越现有最先进的蒸馏技术。

Dec, 2023

本研究引入了一个新的生成 SDE 模型，采用辅助鉴别器进行得分调整，通过训练鉴别器来估计预训练得分估计和真实数据得分之间的差距，进而进行调整。实验结果显示，该方法在无条件 / 有条件的 CIFAR-10 上实现了新的 SOTA FIDs 1.77/1.64，以及 ImageNet 256x256 上的新的 SOTA FID /sFID 3.18 / 4.53。

Nov, 2022

本研究探讨了扩散模型在文本条件下生成图像的问题，并比较了不同的指导策略：CLIP 指导和无分类器指导。 结果发现对于照片逼真度和字幕相似性，后者更受人类评估人员的青睐，还可以进行图像修复。

Dec, 2021

我们提出了一种新的蒸馏方法，可以减少迭代计算过程中无需分类器指导的扩散模型的推理计算时间，并且只需要基础模型的 1％的可训练参数，同时还能维持生成图像的视觉逼真度。

Jun, 2024

我们提出了一种方法将复杂的多步扩散模型提炼为单步有条件生成对抗网络学生模型，从而大大加速推理过程，同时保持图像质量。我们的方法将扩散提炼解释为一种对应的图像到图像转换任务，使用扩散模型 ODE 轨迹的噪声到图像对。为了进行高效的回归损失计算，我们提出了一种在扩散模型的潜空间中直接操作的感知损失 E-LatentLPIPS，利用增强的集合。此外，我们改进了扩散模型，构建了一个多尺度鉴别器，具有文本对齐损失，建立了一种有效的基于条件生成对抗网络的公式。即使考虑到数据集构建成本，E-LatentLPIPS 也比许多现有的提炼方法更高效。我们证明我们的一步生成器在零样本 COCO 基准测试上优于最先进的一步扩散提炼模型 - DMD、SDXL-Turbo 和 SDXL-Lightning。

May, 2024

通过引入 DMD2 技术，将 Distribution Matching Distillation 应用于一步图像生成，通过 GAN loss 以及多步采样等技巧的改进，在降低推理成本的情况下，取得了在图像生成任务中新的最优结果。

May, 2024

本研究针对生成扩散模型，发现攻击点在于编码器模块，并提出了 Score Distillation Sampling (SDS) 策略来保护图像并减少内存占用，同时通过最小化语义损失生成更自然的扰动，希望能够为恶意扩散模仿的防御做出贡献。

Oct, 2023

本文介绍了一种将分类器自由引导扩散模型蒸馏为更快采样的方法，以减少推理时间，并取得了与原始模型相当的图像有效性。

Oct, 2022