透过误差分析的角度快速扩散概率模型采样

Apr, 2023

透过误差分析的角度快速扩散概率模型采样

Fast Diffusion Probabilistic Model Sampling through the lens of Backward Error Analysis

Yansong Gao, Zhihong Pan, Xin Zhou, Le Kang, Pratik Chaudhari

TL;DR本研究提出了一种基于 “限制后向误差进度表”（RBE 进度表）的快速采样方法，使 Denoising Diffusion Probabilistic Models（DDPM）拥有更快的采样速度而不需要进一步训练，并在各种基准数据集上实现了高品质图像的生成。

Abstract

denoising diffusion probabilistic models (DDPMs) are a class of powerful generative models. The past few years have witnessed the great success of DDPMs in generating high-fidelity samples. A significant limitation of the DDPMs is the slow →

denoising diffusion probabilistic models sampling procedure diffusion ordinary differential equations restricting backward error schedule function evaluations

发现论文，激发创造

高效学习从扩散概率模型中采样

提出了一种动态规划算法，基于 ELBO 分解原理，可用于任何预先训练的 DDPM，通过优化推理时间表来发现最优的离散时间表，从而实现生成速度与样本质量之间的平衡。

Jun, 2021

双边去噪扩散模型

该论文提出了新的双边去噪扩散模型（BDDMs）来提高样本生成的质量和速度，其可以更加高效和简单地训练，以及进一步优化先前训练好的模型。

Aug, 2021

改进降噪扩散概率模型

通过对 DDPM 模型进行简单修改，可以在保持高质量样本的同时达到具有竞争力的对数似然值，并学习反向扩散过程的方差，从而使用数量级更少的正向传递采样。使用精度和召回率比较 DDPM 和 GAN 模型的性能，并证明这些模型的样本质量和似然值可以与模型容量和训练计算平稳地提高。

Feb, 2021

医学图像生成的快速去噪扩散概率模型

Fast-DDPM 是一种简单而有效的方法，可同时提高训练速度、采样速度和生成质量，通过仅使用 10 个时间步进行训练和采样，相比 DDPM，Fast-DDPM 能够在医学图像生成任务中优于基于卷积网络和生成对抗网络的当前最先进方法，并将训练时间缩短了 5 倍，采样时间缩短了 100 倍。

May, 2024

六个简单步骤的去噪扩散概率模型

通过六个简单步骤清晰陈述，简化并阐明噪声扩散概率模型（DDPM）的构建及其工作原理。

Feb, 2024

具有明确转移概率的解耦扩散模型

本文提出了一种名为 DDM 的扩散模型，通过将复杂的扩散过程分解为两个相对简单的过程，来提高生成效果和速度，它通过显式转移概率近似图像分布，并通过标准维纳过程控制噪声路径；文章还提出了一个新的 DPM 训练目标，能够分别预测噪声和图像成分，同时，DDM 的逆向去噪公式可以自然地支持少数的生成步骤（不需要基于 ODE 的加速器），实验结果表明，DDM 在更少的函数评估方面优于以前的 DPM。

Jun, 2023

DPM-Solver：一个快速的 ODE 求解器，用于在大约 10 步内进行扩散概率模型抽样

本文提出了一种用于采样扩散概率模型的快速高阶求解器 DPM-Solver，并通过自适应求解扩散常微分方程，可在数百或数千步骤内使用较小的神经网络采样高质量样本，相比于以往方法有明显速度优势

Jun, 2022

BDDM: 双边降噪扩散模型用于高质量和快速语音合成

提出了一种新的双边去噪扩散模型，使用日程网络和分数网络参数化正向和反向过程，实现有效的采样和噪声调度优化，可产生高保真音频样本。

Mar, 2022

通过时移采样缓解扩散模型中的暴露偏差

本文研究了扩散模型中存在的曝光偏差，并提出了一种名为 Time-Shift Sampler 的推理方法，该方法可以在不重新训练模型的情况下缓解曝光偏差，并通过实验结果证明了其有效性。

May, 2023

流形上扩散模型的拟数值方法

本文提出了一种基于伪数值方法的去噪扩散概率模型 (Pseudo numerical methods for Diffusion Models, PNDMs) 来加速 DDPM 的推断过程，此方法不仅在保持采样质量的同时能够实现高速加速，可以在仅进行 50 个步骤的情况下生成高质量的合成图像，相对于其他加速方法具有更好的表现。

Feb, 2022