Apr, 2024

得分身份提炼：预先训练扩散模型的指数级快速提炼用于单步生成

PDF
TL;DR我们引入了 Score identity Distillation（SiD），一种创新的无数据方法，将预训练扩散模型的生成能力提炼到一个单步生成器中。通过将前向扩散过程重构为半隐式分布，利用三个与分数相关的身份，创造了一种创新的损失机制。这种机制通过使用自己合成的图像来训练生成器，在大大缩短的生成时间内消除了对真实数据或基于逆扩散的生成的需求，实现了快速的 Fréchet inception distance (FID) 减小。在四个基准数据集上评估后，SiD 算法在蒸馏过程中显示出高迭代效率，并超越了在生成质量方面与其竞争的蒸馏方法，无论它们是一步或几步，无数据还是依赖于训练数据。这一成就不仅重新定义了扩散蒸馏中效率和效果的基准，还在更广泛的扩散生成领域中也有着重要的意义。我们的 PyTorch 实现将在 GitHub 上公开获取。
score identity distillationdiffusion modelsgeneratorfréchet inception distancedistillation
发现论文，激发创造
  • 一步文本图像生成中的长短导向分数身份蒸馏

    通过发展长短分类器无指导（LSG）的方法，我们改进了基于得分身份蒸馏（SiD）的稳定扩散模型，该模型在不使用真实训练数据的情况下，通过单步生成器合成的虚假图像进行培训，迅速提高了 FID 和 CLIP 得分，实现了最先进的 FID 性能，并保持有竞争力的 CLIP 得分。

    Jun, 2024

  • 扩散模型是固有的一步生成器

    扩散模型的实例教学方法和分布教学方法在图像生成模型方面取得了显著的研究成果，提出的分布教学方法在减少训练图像数量的同时取得了最先进的结果，提高了对高效图像生成模型的理解并为各种应用提供了可扩展的框架。

    May, 2024

  • 基于得分扩散模型的生成过程优化与鉴别器指导

    本研究引入了一个新的生成 SDE 模型，采用辅助鉴别器进行得分调整，通过训练鉴别器来估计预训练得分估计和真实数据得分之间的差距，进而进行调整。实验结果显示，该方法在无条件 / 有条件的 CIFAR-10 上实现了新的 SOTA FIDs 1.77/1.64，以及 ImageNet 256x256 上的新的 SOTA FID /sFID 3.18 / 4.53。

    Nov, 2022

  • SFDDM: 单折蒸馏扩散模型

    提出了一种基于单次折叠蒸馏算法的教师 - 学生蒸馏方法，可以在保持高质量合成图像的情况下加速推断并压缩扩散模型，实现语义一致性和有意义的图像插值。

    May, 2024

  • 将扩散模型融合为条件生成对抗网络

    我们提出了一种方法将复杂的多步扩散模型提炼为单步有条件生成对抗网络学生模型，从而大大加速推理过程，同时保持图像质量。我们的方法将扩散提炼解释为一种对应的图像到图像转换任务，使用扩散模型 ODE 轨迹的噪声到图像对。为了进行高效的回归损失计算，我们提出了一种在扩散模型的潜空间中直接操作的感知损失 E-LatentLPIPS，利用增强的集合。此外，我们改进了扩散模型，构建了一个多尺度鉴别器，具有文本对齐损失，建立了一种有效的基于条件生成对抗网络的公式。即使考虑到数据集构建成本，E-LatentLPIPS 也比许多现有的提炼方法更高效。我们证明我们的一步生成器在零样本 COCO 基准测试上优于最先进的一步扩散提炼模型 - DMD、SDXL-Turbo 和 SDXL-Lightning。

    May, 2024

  • SCott：借助随机一致性蒸馏加速扩散模型

    通过集成随机微分方程求解器到一致性蒸馏中，提出并验证了 Stochastic Consistency Distillation (SCott) 方法，该方法能够加快文本到图像生成的过程，并且在稳定扩散 - V1.5 模型上，表现优于其他模型在 MSCOCO-2017 5K 数据集上的生成结果。

    Mar, 2024

  • 对抗扩散蒸馏

    Adversarial Diffusion Distillation (ADD) is a new training approach that efficiently samples large-scale image diffusion models in 1-4 steps, outperforming existing few-step methods and reaching state-of-the-art performance in only four steps, enabling real-time image synthesis.

    Nov, 2023

  • 快速图像合成的改进分布匹配蒸馏

    通过引入 DMD2 技术，将 Distribution Matching Distillation 应用于一步图像生成，通过 GAN loss 以及多步采样等技巧的改进，在降低推理成本的情况下，取得了在图像生成任务中新的最优结果。

    May, 2024

  • 一步扩散与分布匹配蒸馏

    通过实施分布匹配蒸馏 (Distribution Matching Distillation) 以及多步扩散输出的大规模结构简单回归损失相匹配的方法，我们将扩散模型转化为一步图像生成器，以显著降低对图像质量的影响，使其在 ImageNet 64x64 上达到 2.62 FID，在无监督 COCO-30k 上达到 11.49 FID，并可通过 FP16 推理在现代硬件上以 20 FPS 生成图像。

    Nov, 2023

  • 通过重新参数化的 DDIM 进行分数蒸馏

    通过修改 DDIM，我们的方法在 3D 生成中消除了过度平滑，保留了高频细节，并使生成质量接近于 2D 采样器，从而取得了与其他先进的分数蒸馏方法相当或更好的 3D 生成质量，而无需训练额外的神经网络或多视图监督，并为扩散模型中 2D 和 3D 资源生成之间的关系提供有用的见解。

    May, 2024