Nov, 2023

减少噪声扩散模型蒸馏中的空间拟合误差

PDF
TL;DR通过分析偏差 - 方差分解和实验观察，我们提出了一种基于空间拟合误差减少的蒸馏模型（SFERD），该模型利用教师模型的注意力引导和设计的语义梯度预测器来降低学生模型的拟合误差，从而在少量函数评价中实现高质量的样本生成，并在 CIFAR-10 上取得了 5.31 的 FID 和 ImageNet 64×64 上取得了 9.39 的 FID，超过了现有的扩散方法。我们的研究突出了模型的本质去噪能力，为扩散蒸馏提供了新的视角。
denoising diffusion modelsknowledge distillationspatial fitting-error reduction distillation modelattention guidancehigh-quality sample generation
发现论文，激发创造
  • SFDDM: 单折蒸馏扩散模型

    提出了一种基于单次折叠蒸馏算法的教师 - 学生蒸馏方法，可以在保持高质量合成图像的情况下加速推断并压缩扩散模型，实现语义一致性和有意义的图像插值。

    May, 2024

  • 扩散模型是固有的一步生成器

    扩散模型的实例教学方法和分布教学方法在图像生成模型方面取得了显著的研究成果，提出的分布教学方法在减少训练图像数量的同时取得了最先进的结果，提高了对高效图像生成模型的理解并为各种应用提供了可扩展的框架。

    May, 2024

  • 关于引导式扩散模型的精馏

    本文介绍了一种将分类器自由引导扩散模型蒸馏为更快采样的方法，以减少推理时间，并取得了与原始模型相当的图像有效性。

    Oct, 2022

  • 知识扩散用于蒸馏

    本论文提出了一种名为 DiffKD 的新型知识蒸馏方法，其基于扩散模型显式去噪和匹配特征，以更好地实现精简干净特征和教师特征的蒸馏。在图像分类、对象检测和语义分割任务中，DiffKD 在各种特征类型上均取得了最先进的性能。

    May, 2023

  • 直接去噪扩散模型

    本文介绍了直接去噪扩散模型（DDDM）：一种生成逼真图像的简单且通用方法，具有少步采样的特点，同时保留了多步采样以获得更好的性能。DDDM 不需要精心设计的采样器或预训练的蒸馏模型，而是以自身的先前训练迭代生成的估计目标为条件进行扩散模型的训练，通过考虑前一时间步生成的样本来引导迭代生成过程。我们还提出了 Pseudo-LPIPS，一种对各种超参数值更鲁棒的新型度量损失。尽管简单，该方法在基准数据集上表现出强大的性能。我们的模型在 CIFAR-10 上分别以一步采样和两步采样的 FID 分数为 2.57 和 2.33，超越了 GAN 和蒸馏基模型获得的分数。通过将采样扩展到 1000 步，我们将 FID 分数进一步降低到 1.79，与文献中的最先进方法相一致。在 ImageNet 64x64 上，我们的方法与主要模型相当。

    May, 2024

  • Diffusion-EDFs: SE (3) 上的双等变去噪生成建模，用于视觉机器人操作

    本文介绍了 Diffusion-EDFs，一种新颖的方法，将 SE (3)- 等变性（roto-translation equivariance）引入扩散生成模型中，展示出了卓越的数据效率，只需要 5 至 10 个任务演示进行有效的端到端训练，并且相比以前的基于扩散的操作方法，具有更好的泛化能力。

    Sep, 2023

  • 渐进式蒸馏：用于快速采样扩散模型

    通过新的参数化方法和扩散模型的渐进提炼过程，从而在不降低感知质量的前提下将采样步骤尽量减少到四步，从而提高了采样效率，并为生成建模提供了高效的解决方案。

    Feb, 2022

  • 快速图像合成的改进分布匹配蒸馏

    通过引入 DMD2 技术，将 Distribution Matching Distillation 应用于一步图像生成，通过 GAN loss 以及多步采样等技巧的改进，在降低推理成本的情况下，取得了在图像生成任务中新的最优结果。

    May, 2024

  • 学习离散去噪扩散 ODEs

    LD3 是一个轻量级的学习时间离散化的框架，可在采样 Diffusion ODE 时与各种求解器结合使用，从而提高采样效率并减少计算开销。

    May, 2024

  • 降低鉴别器引导扩散模型中的曝光偏差

    SEDM-G++ 结合鉴别器引导和 Epsilon 缩放的改进取样方法，解决了扩大偏差的持久问题，提高了生成图像的质量。

    Nov, 2023