Nov, 2023

改进的 DDIM 采样与矩匹配高斯混合模型

PDF
TL;DR使用高斯混合模型（GMM）作为 Denoising Diffusion Implicit Models（DDIM）框架中的反向转换操作符（核），通过约束 GMM 的参数来匹配 DDPM 前向边际的一阶和二阶中心矩。通过 FID 和 IS 度量，实验证明在采样步数较少时，使用 GMM 核能够显著提高生成样本的质量。
gaussian mixture modeldenoising diffusion implicit modelscentral momentssampling stepsfid and is metrics
发现论文，激发创造
  • 去噪扩散隐式模型

    本文描述了一种更高效的迭代隐式概率模型 —— 去噪扩散隐式模型（DDIMs），通过构建一类非马尔科夫扩散过程来加速采样过程，相对于去噪扩散概率模型（DDPMs）可以使采样速度提升 10 倍至 50 倍。这种模型可以用于图像生成和语义意义化的图像内插。

    Oct, 2020

  • 半隐式去噪扩散模型（SIDDM）

    通过匹配隐式和显式因素，我们提出了一种新的方法，以解决生成模型中的采样难题，该方法利用隐式模型匹配噪声数据的边缘分布和前向扩散的显式条件分布，以有效地匹配联合降噪分布，并获得与扩散模型相当的生成性能和比采样步骤少的模型相比更好的结果。

    Jun, 2023

  • gDDIM: 广义去噪扩散隐式模型

    本研究从数值角度考察了 DDIM 的机制，发现在解决相关的随机微分方程时可以利用一些特定的得分逼近，提出了一种解释 DDIM 加速效果的方法，并在此基础上对其进行了扩展以适用于一般扩散模型， coined 为 generalized DDIM (gDDIM)。在进行两种非各向同性扩散模型的验证时 (gDDIM) 得出了令人瞩目的加速效果。

    Jun, 2022

  • 直接去噪扩散模型

    本文介绍了直接去噪扩散模型（DDDM）：一种生成逼真图像的简单且通用方法，具有少步采样的特点，同时保留了多步采样以获得更好的性能。DDDM 不需要精心设计的采样器或预训练的蒸馏模型，而是以自身的先前训练迭代生成的估计目标为条件进行扩散模型的训练，通过考虑前一时间步生成的样本来引导迭代生成过程。我们还提出了 Pseudo-LPIPS，一种对各种超参数值更鲁棒的新型度量损失。尽管简单，该方法在基准数据集上表现出强大的性能。我们的模型在 CIFAR-10 上分别以一步采样和两步采样的 FID 分数为 2.57 和 2.33，超越了 GAN 和蒸馏基模型获得的分数。通过将采样扩展到 1000 步，我们将 FID 分数进一步降低到 1.79，与文献中的最先进方法相一致。在 ImageNet 64x64 上，我们的方法与主要模型相当。

    May, 2024

  • 改进降噪扩散概率模型

    通过对 DDPM 模型进行简单修改，可以在保持高质量样本的同时达到具有竞争力的对数似然值，并学习反向扩散过程的方差，从而使用数量级更少的正向传递采样。使用精度和召回率比较 DDPM 和 GAN 模型的性能，并证明这些模型的样本质量和似然值可以与模型容量和训练计算平稳地提高。

    Feb, 2021

  • 医学图像生成的快速去噪扩散概率模型

    Fast-DDPM 是一种简单而有效的方法，可同时提高训练速度、采样速度和生成质量，通过仅使用 10 个时间步进行训练和采样，相比 DDPM，Fast-DDPM 能够在医学图像生成任务中优于基于卷积网络和生成对抗网络的当前最先进方法，并将训练时间缩短了 5 倍，采样时间缩短了 100 倍。

    May, 2024

  • 双边去噪扩散模型

    该论文提出了新的双边去噪扩散模型（BDDMs）来提高样本生成的质量和速度，其可以更加高效和简单地训练，以及进一步优化先前训练好的模型。

    Aug, 2021

  • 通过矩匹配多步蒸馏扩散模型

    我们提出了一种新的方法，通过匹配沿采样轨迹给定噪声数据的干净数据的条件期望来将扩散模型加速采样，从而将多步扩散模型提炼为少步模型。我们的方法扩展了最近提出的一步方法到多步情况，并通过以矩匹配的方式解释这些方法，从而提供了一种新的视角。通过使用多达 8 个采样步骤，我们获得的提炼模型不仅在 Imagnet 数据集上超越了其一步版本，还超越了原始的多步教师模型，获得了最新的最先进结果。我们还展示了一种大型文本到图像模型的有希望结果，在该模型中，我们可以直接在图像空间中快速生成高分辨率图像，而无需自编码器或上采样器。

    Jun, 2024

  • 分治后验采样用于去噪扩散先验

    利用去噪扩散模型（DDM）作为先验来解决逆贝叶斯问题的兴趣最近显著增加。本研究采用不同方法，利用 DDM 先验的特定结构定义了一组中间和简化的后验采样问题，相比以前的方法，降低了近似误差。我们通过使用合成示例和各种图像恢复任务来经验性地展示了我们方法的重建能力。

    Mar, 2024

  • 扩散高斯混合音频降噪

    提出了一种 DiffGMM 模型，它是基于扩散和高斯混合模型的去噪模型。通过反向过程估计高斯混合模型的参数，从而近似真实噪声分布，并通过连续减去估计的噪声来输出清晰的音频信号。广泛的实验结果表明，所提出的 DiffGMM 模型达到了最先进的性能。

    Jun, 2024