Nov, 2023

基于扩散的生成模型及其误差界：全收敛估计下的对数凹情况

HTML
PDF
TL;DR我们以具有未知均值的高斯分布的抽样为动机示例，通过扩散生成模型提供了在强对数凹数据分布假设下的收敛性行为的全面理论保证。我们的评估函数类使用的逼近是利普希茨连续函数，同时通过与相应的抽样估计相结合，对于与数据分布之间的Wasserstein-2距离等关键量感兴趣的最佳上界估计提供了显式估计。该论文还引入了基于L2准确评分估计假设的结果，以适用于各种随机优化器。该方法在我们的抽样算法上得到了已知的最佳收敛速度。
发现论文，激发创造
  • 基于分值的生成建模暗中最小化Wasserstein距离

    本文研究在适当的假设下，基于得分函数的生成模型可以最小化与真实数据分布之间的Wasserstein距离，同时说明此类模型的目标函数与生成分布和数据分布的Kullback-Leibler散度等价，并通过优化输运理论的新颖应用来证明我们的理论成果，同时通过数值实验进行支持，并提供了一些获得更紧密上限的技巧。

    Dec, 2022

  • 基于得分的生成模型的几何学

    该研究从几何角度探讨了基于得分模型的扩散生成模型，证明了加噪声和从噪声生成的正向和反向过程在概率测度空间中是 Wasserstein 梯度流。同时给出了附加传统得分模型的投影步骤的直观几何解决方案，提出了减少采样时间的方法。

    Feb, 2023

  • 通过预测校正改进基于分数的扩散模型的收敛性

    本文研究基于分数的生成模型（SGMs）中遇到的向后过程收敛性问题，提出了基于预测校正方案的近似 Langevin 动力学方法，并在有限时间内提供了Wassertein距离的收敛保证。

    May, 2023

  • 基于扩散的生成模型的更快非渐进收敛探索

    该研究发展了一套用于理解离散时间下扩散模型数据生成过程的非渐进理论，对于一种常见的确定性采样方法，该理论建立了一个与步骤总数$T$成反比例的收敛速率，对于另一种主流随机采样方法，该理论得出了一个与步骤总数$T$的平方根成反比例的收敛速率，同时设计了两种加速变体，进一步提高了收敛速度。

    Jun, 2023

  • 扩散训练的样本高效性

    评分扩散模型是深度生成建模图像的最流行方法，其理论和实证性能表现出有效采样、$L^2$精确评分估计、样本复杂度和Wasserstein准确性。

    Nov, 2023

  • 关于去噪扩散概率模型的收敛性的注意事项

    我们在这篇论文中，对扩散模型和数据生成分布之间的Wasserstein距离进行了定量上界的推导，该结果不依赖于数据生成分布的得分函数，并且适用于具有有界实例空间的任意数据生成分布，即使这些分布对勒贝格测度没有密度，而且上界不会受到指数依赖的影响。

    Dec, 2023

  • 加速基于得分的扩散模型的收敛性证明

    设计了加速常见确定性和随机抽样算法的训练免费算法，加速度确定性和随机抽样器的汇率超过 DDIM 和 DDPM 抽样器的速度。

    Mar, 2024

  • 基于分值的生成模型的概率流动常微分方程的收敛分析

    基于分数的生成模型中，我们从理论和数值的角度研究了基于概率流ODE的确定性采样器的收敛性质，并证明了目标和生成数据分布之间的总变差可以在连续时间层面上通过d√δ（其中d表示数据维度，δ表示L2-评分匹配误差）被上界限制，并针对使用p阶Runge-Kutta积分器进行具体实现的情况，建立了离散层面上的误差界限为O(d(√δ + (dh)^p))。最后，我们进行了高达128个维度的问题的数值研究，验证了我们的理论，结果表明更好的评分匹配误差和维度依赖性。

    Apr, 2024

  • 评估扩散型生成模型的设计空间

    对于扩散模型的准确性进行了理论研究，通过梯度下降方法对去噪积分评分匹配的训练和采样过程进行了非渐近收敛分析，并提供了方差爆炸模型的抽样误差分析。通过这两个结果的结合，明确了如何设计有效生成的训练和采样过程。

    Jun, 2024

  • 在最小假设下扩散概率模型的$O(d/T)$收敛理论

    本研究针对现有扩散模型收敛理论中严格假设和次优收敛速度的问题，提出了一种新的快速收敛理论。通过确保$\ell_{2}$-准确的评分函数估计，该理论表明目标分布与生成分布之间的总变差距离上界为$O(d/T)$，对任何具有有限一阶矩的目标分布均适用，显著改进了现有的SDE和ODE模型收敛理论。

    Sep, 2024