Feb, 2024

六个简单步骤的去噪扩散概率模型

PDF
TL;DR通过六个简单步骤清晰陈述，简化并阐明噪声扩散概率模型（DDPM）的构建及其工作原理。
denoising diffusion probabilistic modelsdeep generative modelmachine learningprobabilistic modellingdeep learning
发现论文，激发创造
  • 改进降噪扩散概率模型

    通过对 DDPM 模型进行简单修改，可以在保持高质量样本的同时达到具有竞争力的对数似然值，并学习反向扩散过程的方差，从而使用数量级更少的正向传递采样。使用精度和召回率比较 DDPM 和 GAN 模型的性能，并证明这些模型的样本质量和似然值可以与模型容量和训练计算平稳地提高。

    Feb, 2021

  • 医学图像生成的快速去噪扩散概率模型

    Fast-DDPM 是一种简单而有效的方法，可同时提高训练速度、采样速度和生成质量，通过仅使用 10 个时间步进行训练和采样，相比 DDPM，Fast-DDPM 能够在医学图像生成任务中优于基于卷积网络和生成对抗网络的当前最先进方法，并将训练时间缩短了 5 倍，采样时间缩短了 100 倍。

    May, 2024

  • 去噪扩散概率模型的生成型量子机器学习

    基于经典对应物，我们提出了量子去噪扩散概率模型（QuDDPM），以实现对量子数据的高效可训练生成学习。

    Oct, 2023

  • 双边去噪扩散模型

    该论文提出了新的双边去噪扩散模型（BDDMs）来提高样本生成的质量和速度，其可以更加高效和简单地训练，以及进一步优化先前训练好的模型。

    Aug, 2021

  • 去噪扩散隐式模型

    本文描述了一种更高效的迭代隐式概率模型 —— 去噪扩散隐式模型（DDIMs），通过构建一类非马尔科夫扩散过程来加速采样过程，相对于去噪扩散概率模型（DDPMs）可以使采样速度提升 10 倍至 50 倍。这种模型可以用于图像生成和语义意义化的图像内插。

    Oct, 2020

  • UDPM: 上采样扩散概率模型

    本文介绍了一种基于 Markovian 过程的 Upsampling Diffusion Probabilistic Model（UDPM），相较于传统的 Denoising Diffusion Probabilistic Models（DDPM），它在降低潜变量维度的同时，仅需 7 个扩散步骤即可生成 $256 imes 256$ 的高清图像。

    May, 2023

  • 离散状态空间中的结构去噪扩散模型

    本文提出了离散去噪扩散概率模型（D3PM），用于离散数据的扩散式生成模型，包括了仿真高斯核、嵌入空间中基于最邻近、引入吸收状态等过渡矩阵。研究表明过渡矩阵的选择对图像和文本领域下的生成模型结果至关重要，且提出的新损失函数在字符级别文本生成上取得了很好的效果。

    Jul, 2021

  • 去噪扩散自适应模型

    该论文介绍了一种名为 Denoising Diffusion Step-aware Models (DDSM) 的新型框架，通过使用一系列根据每个生成步骤重要性进行自适应调整的神经网络，以进化搜索的方式解决了生成过程中存在的整体网络计算的瓶颈问题，有效地提高了扩散模型的效率，并且可以与其他以效率为目标的扩散模型进行无缝集成，从而扩大了计算节约的范围，同时不影响生成质量。

    Oct, 2023

  • 流形上扩散模型的拟数值方法

    本文提出了一种基于伪数值方法的去噪扩散概率模型 (Pseudo numerical methods for Diffusion Models, PNDMs) 来加速 DDPM 的推断过程，此方法不仅在保持采样质量的同时能够实现高速加速，可以在仅进行 50 个步骤的情况下生成高质量的合成图像，相对于其他加速方法具有更好的表现。

    Feb, 2022

  • 高效学习从扩散概率模型中采样

    提出了一种动态规划算法，基于 ELBO 分解原理，可用于任何预先训练的 DDPM，通过优化推理时间表来发现最优的离散时间表，从而实现生成速度与样本质量之间的平衡。

    Jun, 2021