Jun, 2022

gDDIM: 广义去噪扩散隐式模型

PDF
TL;DR本研究从数值角度考察了 DDIM 的机制，发现在解决相关的随机微分方程时可以利用一些特定的得分逼近，提出了一种解释 DDIM 加速效果的方法，并在此基础上对其进行了扩展以适用于一般扩散模型， coined 为 generalized DDIM (gDDIM)。在进行两种非各向同性扩散模型的验证时 (gDDIM) 得出了令人瞩目的加速效果。
denoising diffusion implicit modelgeneral diffusion modelsscore approximationgeneralized ddimstochastic differential equation
发现论文，激发创造
  • 去噪扩散隐式模型

    本文描述了一种更高效的迭代隐式概率模型 —— 去噪扩散隐式模型（DDIMs），通过构建一类非马尔科夫扩散过程来加速采样过程，相对于去噪扩散概率模型（DDPMs）可以使采样速度提升 10 倍至 50 倍。这种模型可以用于图像生成和语义意义化的图像内插。

    Oct, 2020

  • 半隐式去噪扩散模型（SIDDM）

    通过匹配隐式和显式因素，我们提出了一种新的方法，以解决生成模型中的采样难题，该方法利用隐式模型匹配噪声数据的边缘分布和前向扩散的显式条件分布，以有效地匹配联合降噪分布，并获得与扩散模型相当的生成性能和比采样步骤少的模型相比更好的结果。

    Jun, 2023

  • 直接去噪扩散模型

    本文介绍了直接去噪扩散模型（DDDM）：一种生成逼真图像的简单且通用方法，具有少步采样的特点，同时保留了多步采样以获得更好的性能。DDDM 不需要精心设计的采样器或预训练的蒸馏模型，而是以自身的先前训练迭代生成的估计目标为条件进行扩散模型的训练，通过考虑前一时间步生成的样本来引导迭代生成过程。我们还提出了 Pseudo-LPIPS，一种对各种超参数值更鲁棒的新型度量损失。尽管简单，该方法在基准数据集上表现出强大的性能。我们的模型在 CIFAR-10 上分别以一步采样和两步采样的 FID 分数为 2.57 和 2.33，超越了 GAN 和蒸馏基模型获得的分数。通过将采样扩展到 1000 步，我们将 FID 分数进一步降低到 1.79，与文献中的最先进方法相一致。在 ImageNet 64x64 上，我们的方法与主要模型相当。

    May, 2024

  • S$^{2}$-DMs: 跳跃扩散模型

    使用创新的 $L_{skip}$ 重新整合选择性采样阶段中省略的信息的一种新的训练方法 S$^{2}$-DMs 能够显著提高样本质量，并且实施简单，需要最少的代码修改，并且足够灵活以与各种抽样算法兼容。

    Jan, 2024

  • 通过样本质量差分学习扩散模型的快速采样器

    通过 Differentiable Diffusion Sampler Search 方法优化 Diffusion Models 的 samplers，使用 Generalized Gaussian Diffusion Models 生成高质量的样本，实现无条件图像生成。

    Feb, 2022

  • 流形上扩散模型的拟数值方法

    本文提出了一种基于伪数值方法的去噪扩散概率模型 (Pseudo numerical methods for Diffusion Models, PNDMs) 来加速 DDPM 的推断过程，此方法不仅在保持采样质量的同时能够实现高速加速，可以在仅进行 50 个步骤的情况下生成高质量的合成图像，相对于其他加速方法具有更好的表现。

    Feb, 2022

  • 通过重新参数化的 DDIM 进行分数蒸馏

    通过修改 DDIM，我们的方法在 3D 生成中消除了过度平滑，保留了高频细节，并使生成质量接近于 2D 采样器，从而取得了与其他先进的分数蒸馏方法相当或更好的 3D 生成质量，而无需训练额外的神经网络或多视图监督，并为扩散模型中 2D 和 3D 资源生成之间的关系提供有用的见解。

    May, 2024

  • 双边去噪扩散模型

    该论文提出了新的双边去噪扩散模型（BDDMs）来提高样本生成的质量和速度，其可以更加高效和简单地训练，以及进一步优化先前训练好的模型。

    Aug, 2021

  • 基于得分的生成建模方法及临界阻尼 Langevin 漫步

    通过引入一种新的，临界阻尼 Langevin 扩散，该文提出一种基于分数的生成模型框架，它可以更轻松地学习条件分布的速度得分函数，这比直接学习数据分数函数要容易得多，并用于高分辨率图像合成任务。

    Dec, 2021

  • 改进降噪扩散概率模型

    通过对 DDPM 模型进行简单修改，可以在保持高质量样本的同时达到具有竞争力的对数似然值，并学习反向扩散过程的方差，从而使用数量级更少的正向传递采样。使用精度和召回率比较 DDPM 和 GAN 模型的性能，并证明这些模型的样本质量和似然值可以与模型容量和训练计算平稳地提高。

    Feb, 2021