在最小假设下扩散概率模型的$O(d/T)$收敛理论

Sep, 2024

在最小假设下扩散概率模型的$O(d/T)$收敛理论

$O(d/T)$ Convergence Theory for Diffusion Probabilistic Models under Minimal Assumptions

Gen Li, Yuling Yan

TL;DR本研究针对现有扩散模型收敛理论中严格假设和次优收敛速度的问题，提出了一种新的快速收敛理论。通过确保$\ell_{2}$-准确的评分函数估计，该理论表明目标分布与生成分布之间的总变差距离上界为$O(d/T)$，对任何具有有限一阶矩的目标分布均适用，显著改进了现有的SDE和ODE模型收敛理论。

Abstract

Score-based Diffusion Models, which generate new data by learning to reverse a diffusion process that perturbs data from the target distribution into noise, have achieved remarkable success across various generative tasks. Despite their superior empirical performance, existing theoreti

发现论文，激发创造

透过误差分析的角度快速扩散概率模型采样

本研究提出了一种基于“限制后向误差进度表”（RBE进度表）的快速采样方法，使Denoising Diffusion Probabilistic Models（DDPM）拥有更快的采样速度而不需要进一步训练，并在各种基准数据集上实现了高品质图像的生成。

Apr, 2023

通过预测校正改进基于分数的扩散模型的收敛性

本文研究基于分数的生成模型（SGMs）中遇到的向后过程收敛性问题，提出了基于预测校正方案的近似 Langevin 动力学方法，并在有限时间内提供了Wassertein距离的收敛保证。

May, 2023

扩散模型生成过程最优选择的探索：普通微分方程与随机微分方程对比

本文主要研究了扩散模型在计算机视觉中的应用，比较和分析了基于ODE和SDE的概率流和扩散模型在不同情况下的性能差异，研究表明，对于特定的脉冲形状误差，扩散系数越大，使用SDE模型生成样本的误差就会指数级下降，并且变化扩散系数可以提高样本质量。

Jun, 2023

基于扩散的生成模型的更快非渐进收敛探索

该研究发展了一套用于理解离散时间下扩散模型数据生成过程的非渐进理论，对于一种常见的确定性采样方法，该理论建立了一个与步骤总数$T$成反比例的收敛速率，对于另一种主流随机采样方法，该理论得出了一个与步骤总数$T$的平方根成反比例的收敛速率，同时设计了两种加速变体，进一步提高了收敛速度。

Jun, 2023

基于扩散的生成模型及其误差界：全收敛估计下的对数凹情况

我们以具有未知均值的高斯分布的抽样为动机示例，通过扩散生成模型提供了在强对数凹数据分布假设下的收敛性行为的全面理论保证。我们的评估函数类使用的逼近是利普希茨连续函数，同时通过与相应的抽样估计相结合，对于与数据分布之间的Wasserstein-2距离等关键量感兴趣的最佳上界估计提供了显式估计。该论文还引入了基于L2准确评分估计假设的结果，以适用于各种随机优化器。该方法在我们的抽样算法上得到了已知的最佳收敛速度。

Nov, 2023

离散时间扩散模型的非渐近收敛：新方法和改进速率

去噪扩散模型是一种将噪声转换为数据的强大生成技术，本论文研究了离散时间扩散模型在更大范围的分布上的收敛性保证，并提出了一种加速采样器来提高收敛速度和维度依赖性。

Feb, 2024

加速基于得分的扩散模型的收敛性证明

设计了加速常见确定性和随机抽样算法的训练免费算法，加速度确定性和随机抽样器的汇率超过 DDIM 和 DDPM 抽样器的速度。

Mar, 2024

在基于评分扩散模型中适应未知的低维结构

本研究通过设计独特的系数，首次理论证明了去噪扩散概率模型可以适应目标分布中未知的低维结构，凸显了系数设计的重要性。

May, 2024

扩散模型概率流常微分方程的快速收敛理论

本研究解决了扩散模型在生成建模中的收敛问题，提出了一种基于基本非渐近方法的概率流常微分方程采样器的收敛理论。研究表明，在满足最小假设条件下，使用$ \ell_2 $精确估计的Stein得分函数，经过$d/\varepsilon$次迭代即可将目标分布近似至$\varepsilon$的全变差距离，显著提高了对数据生成过程的理解。

Aug, 2024

扩散概率模型的改进收敛速率

本研究针对扩散模型在收敛性分析上的理论与实践之间的差距进行探讨，提出了一种新的迭代复杂度 $d^{1/3}\varepsilon^{-2/3}$，优于之前已知的最佳复杂度 $d^{5/12}\varepsilon^{-1}$。通过随机中点方法，这项研究为扩散模型提供了收敛性分析，并能在无对数凹性的限制下，实现高效的并行运算。

Oct, 2024