ICCVJul, 2023

DPM-OT：一种基于最优传输的新扩散概率模型

PDF
TL;DR通过创新性地将逆扩散视为不同阶段的潜变量之间的最优传输（OT）问题，提出了 DPM-OT，一种用于快速 DPM 的统一学习框架，通过 OT 映射表示直接快速生成高质量样本，具有约 10 个函数评估内的优秀表现。大量实验证实了 DPM-OT 在速度和质量（FID 和模式混合）方面的有效性和优势，因此为生成建模提供了高效的解决方案。
diffusion probabilistic modelsinverse diffusionoptimal transportdpm-otgenerative modeling
发现论文，激发创造
  • 通过最优输运理解 DDPM 潜变量

    研究拟合自然图像分布的传播模型中，VP SDE 方法的编码器映射为常规分布的最优传输映射。

    Feb, 2022

  • 具有明确转移概率的解耦扩散模型

    本文提出了一种名为 DDM 的扩散模型，通过将复杂的扩散过程分解为两个相对简单的过程，来提高生成效果和速度，它通过显式转移概率近似图像分布，并通过标准维纳过程控制噪声路径；文章还提出了一个新的 DPM 训练目标，能够分别预测噪声和图像成分，同时，DDM 的逆向去噪公式可以自然地支持少数的生成步骤（不需要基于 ODE 的加速器），实验结果表明，DDM 在更少的函数评估方面优于以前的 DPM。

    Jun, 2023

  • 通过近似最优传播改进生成模型

    我们介绍了逼近最优输运（Approximated Optimal Transport，AOT）技术，一种用于扩散式生成模型的新型训练方案。我们的方法旨在逼近并将最优输运集成到训练过程中，大大提高了扩散模型准确估计去噪器输出的能力。通过在训练中使用 AOT，我们实现了优越的图像质量和减少的采样步骤。特别是在无条件和有条件生成中，我们分别仅使用 27 个 NFE（Numerical Fourier Expansion）和 29 个 NFE，实现了 1.88 和 1.73 的 FID（Fréchet Inception Distance）分数。此外，当将 AOT 应用于指导鉴别器的训练时，在无条件和有条件生成方面，我们分别取得了 1.68 和 1.58 的新领先 FID 分数，每个模型使用 29 个 NFE。这一结果证明了 AOT 在提升扩散模型性能方面的有效性。

    Mar, 2024

  • 改进降噪扩散概率模型

    通过对 DDPM 模型进行简单修改，可以在保持高质量样本的同时达到具有竞争力的对数似然值，并学习反向扩散过程的方差，从而使用数量级更少的正向传递采样。使用精度和召回率比较 DDPM 和 GAN 模型的性能，并证明这些模型的样本质量和似然值可以与模型容量和训练计算平稳地提高。

    Feb, 2021

  • OMS-DPM: 模型进度优化扩散概率模型

    本文提出使用多个模型并按照设计的模型时间表模拟生成过程，从而优化生成速度和质量，同时介绍了一种新的基于 OMS-DPM 的模型优化算法，以此在多个数据集上证明该方法的有效性。

    Jun, 2023

  • UDPM: 上采样扩散概率模型

    本文介绍了一种基于 Markovian 过程的 Upsampling Diffusion Probabilistic Model（UDPM），相较于传统的 Denoising Diffusion Probabilistic Models（DDPM），它在降低潜变量维度的同时，仅需 7 个扩散步骤即可生成 $256 imes 256$ 的高清图像。

    May, 2023

  • 六个简单步骤的去噪扩散概率模型

    通过六个简单步骤清晰陈述，简化并阐明噪声扩散概率模型（DDPM）的构建及其工作原理。

    Feb, 2024

  • 优化时间步长加速扩散采样

    通过设计一个优化问题，并使用约束信任区域方法，我们提出了一种针对特定数值 ODE 解算器的扩散概率模型 (DPMs) 寻找更合适的时间步长的通用框架，该框架能显著改善图像生成性能。

    Feb, 2024

  • 医学图像生成的快速去噪扩散概率模型

    Fast-DDPM 是一种简单而有效的方法，可同时提高训练速度、采样速度和生成质量，通过仅使用 10 个时间步进行训练和采样，相比 DDPM，Fast-DDPM 能够在医学图像生成任务中优于基于卷积网络和生成对抗网络的当前最先进方法，并将训练时间缩短了 5 倍，采样时间缩短了 100 倍。

    May, 2024

  • 离散状态空间中的结构去噪扩散模型

    本文提出了离散去噪扩散概率模型（D3PM），用于离散数据的扩散式生成模型，包括了仿真高斯核、嵌入空间中基于最邻近、引入吸收状态等过渡矩阵。研究表明过渡矩阵的选择对图像和文本领域下的生成模型结果至关重要，且提出的新损失函数在字符级别文本生成上取得了很好的效果。

    Jul, 2021