关于Wasserstein距离中扩散模型的一般概率流ODE的收敛性分析
本研究提出了一种基于梯度流的、无需参数的算法,用于学习复杂数据集的潜在分布和从中进行抽样。该算法是建立在隐式生成建模 (IGM) 与最优输运之间的联系理论基础上,并通过泛函优化问题的方式得以实现。通过梯度流和随机微分方程的联系,该算法既能高效地解决优化问题,还提供了理论分析和有限时间误差保证。实验结果表明,该算法能够成功地捕捉不同类型的数据分布结构。
Jun, 2018
本文主要研究了扩散模型在计算机视觉中的应用,比较和分析了基于ODE和SDE的概率流和扩散模型在不同情况下的性能差异,研究表明,对于特定的脉冲形状误差,扩散系数越大,使用SDE模型生成样本的误差就会指数级下降,并且变化扩散系数可以提高样本质量。
Jun, 2023
该研究发展了一套用于理解离散时间下扩散模型数据生成过程的非渐进理论,对于一种常见的确定性采样方法,该理论建立了一个与步骤总数$T$成反比例的收敛速率,对于另一种主流随机采样方法,该理论得出了一个与步骤总数$T$的平方根成反比例的收敛速率,同时设计了两种加速变体,进一步提高了收敛速度。
Jun, 2023
基于分数的生成模型中,我们从理论和数值的角度研究了基于概率流ODE的确定性采样器的收敛性质,并证明了目标和生成数据分布之间的总变差可以在连续时间层面上通过d√δ(其中d表示数据维度,δ表示L2-评分匹配误差)被上界限制,并针对使用p阶Runge-Kutta积分器进行具体实现的情况,建立了离散层面上的误差界限为O(d(√δ + (dh)^p))。最后,我们进行了高达128个维度的问题的数值研究,验证了我们的理论,结果表明更好的评分匹配误差和维度依赖性。
Apr, 2024
扩散基于生成模型使用随机微分方程和其等效的常微分方程在复杂数据分布与可追踪的先验分布之间建立平滑连接。本文中,我们发现扩散模型的基于常微分方程的采样过程中存在着一些有趣的轨迹特性。我们表征了一个隐式去噪轨迹,并讨论了其在形成具有强形状规律性的耦合采样轨迹中的重要作用,无论生成的内容是什么。我们还描述了一种基于动态规划的方案,使得采样的时间安排更好地适应底层轨迹结构。这种简单的策略对于任何给定的基于常微分方程的数值求解器只需要最小的修改,并且在计算成本几乎可忽略的情况下,能够在图像生成中提供卓越的性能,特别是在5到10个函数评估中。
May, 2024
该论文讨论了流匹配在$p$-Wasserstein距离方面的收敛性质,通过研究一类更广泛的向量场的均值和方差函数,确定实现这些最优速率所必需的特定条件,并且证明了流匹配能够达到与扩散模型相当的收敛速率,从而为流匹配作为一种无需模拟的生成模型提供了第一条理论证据。
May, 2024
本研究解决了扩散模型在生成建模中的收敛问题,提出了一种基于基本非渐近方法的概率流常微分方程采样器的收敛理论。研究表明,在满足最小假设条件下,使用$ \ell_2 $精确估计的Stein得分函数,经过$d/\varepsilon$次迭代即可将目标分布近似至$\varepsilon$的全变差距离,显著提高了对数据生成过程的理解。
Aug, 2024
本研究针对现有扩散模型收敛理论中严格假设和次优收敛速度的问题,提出了一种新的快速收敛理论。通过确保$\ell_{2}$-准确的评分函数估计,该理论表明目标分布与生成分布之间的总变差距离上界为$O(d/T)$,对任何具有有限一阶矩的目标分布均适用,显著改进了现有的SDE和ODE模型收敛理论。
Sep, 2024