Aug, 2023

通过随机定位改进扩散模型的线性收敛界限

PDF
TL;DR扩散模型对于从高维数据分布中生成近似样本是一个强大的方法。我们提供了第一个以数据维度为线性（在对数因子之内）的收敛界限，只需假设数据分布具有有限的二阶矩。我们证明扩散模型仅需要最多 Δ 步骤，就能以 Kullback-Leibler 差异度在 d 维实数空间上对于方差为 δ 的高斯噪声破坏的任意数据分布进行 ε² 内的近似。
diffusion modelsconvergence boundshigh-dimensional datascore estimatorsgaussian noise
发现论文，激发创造
  • 离散时间扩散模型的非渐近收敛：新方法和改进速率

    去噪扩散模型是一种将噪声转换为数据的强大生成技术，本论文研究了离散时间扩散模型在更大范围的分布上的收敛性保证，并提出了一种加速采样器来提高收敛速度和维度依赖性。

    Feb, 2024

  • 基于扩散的生成模型及其误差界：全收敛估计下的对数凹情况

    我们以具有未知均值的高斯分布的抽样为动机示例，通过扩散生成模型提供了在强对数凹数据分布假设下的收敛性行为的全面理论保证。我们的评估函数类使用的逼近是利普希茨连续函数，同时通过与相应的抽样估计相结合，对于与数据分布之间的 Wasserstein-2 距离等关键量感兴趣的最佳上界估计提供了显式估计。该论文还引入了基于 L2 准确评分估计假设的结果，以适用于各种随机优化器。该方法在我们的抽样算法上得到了已知的最佳收敛速度。

    Nov, 2023

  • 基于扩散的生成模型的更快非渐进收敛探索

    该研究发展了一套用于理解离散时间下扩散模型数据生成过程的非渐进理论，对于一种常见的确定性采样方法，该理论建立了一个与步骤总数 $T$ 成反比例的收敛速率，对于另一种主流随机采样方法，该理论得出了一个与步骤总数 $T$ 的平方根成反比例的收敛速率，同时设计了两种加速变体，进一步提高了收敛速度。

    Jun, 2023

  • 基于随机中点的更快扩散采样：连续和并行

    近年来，在扩散模型的离散化界限方面出现了浓厚的兴趣，本文提出了一种新的受 Shen 和 Lee 随机中点方法启发的扩散模型离散化方案，证明了该方法在从任意平滑分布中进行采样的维度依赖方面达到了已知最佳结果，同时还展示了可以将算法并行化以实现更快速的采样。

    Jun, 2024

  • 随机定位 + 斯提尔切斯障壁 = 对 Log-Sobolev 紧致界

    证明对于任何支撑直径为 D 的 n 维吸收对称对数凹密度的对数 Sobolev 常数都是 1/D, 并基于此推导出一系列相关结论，如任何吸收对称对数凹密度上的球步行的混合时间，以及涉及中位数 / 平均值的大偏差不等式。

    Dec, 2017

  • 使用扩散模型学习高斯混合模型

    给出了一个新的学习高斯混合模型的算法，其目标是通过扩散模型中的得分函数以及多项式回归来高效学习混合高斯分布，对于具有最小权重假设的情况下，计算出来的误差和时间复杂度具有准多项式级别的优势，并扩展到具有支持在常数半径范围内的多个球的混合高斯的情况。

    Apr, 2024

  • 改进的朗之万扩散离散化界限：无需凸性的近乎最优速率

    通过对 Euler-Maruyama 离散化的 Langevin 扩散进行改进的分析，我们在时间范围上取得了多项式依赖。该结果匹配了数值 SDE 的正确顺序，并可同时改进基于 Dalayan 方法的所有基于采样和学习的算法。

    Jul, 2019

  • Langevin MCMC 在 KL 散度下的收敛性

    研究 Langevin 扩散在采样、KL - 散度、强凸性、收敛速率等方面的应用，证明在目标密度是 L 光滑且 m 强凸的情况下，该扩散可以在几步内收敛于目标分布，同时揭示了在强凸性假设缺失时的收敛速率。

    May, 2017

  • 线性双时间尺度随机逼近的收敛速率

    本研究讨论了线性二时间尺度随机逼近方法的收敛速度，证明了它们的渐进协方差和建立了渐近正态性，通过本文的一般结果，证明了著名的 Polyak-Ruppert 平均技术在线性随机逼近中的最优性。

    May, 2004

  • 线性随机逼近和 TD 学习的有限时间误差界

    考虑由 Markovian 噪声驱动的线性随机逼近算法的动态特性，通过考虑适当选择的 Lyapunov 函数的漂移，获得常数步长算法的有限时间误差的二次矩的有限时间界限。我们还对逼近误差 2 范数的平方的矩进行了全面的处理。

    Feb, 2019