基于分数的生成模型中,我们从理论和数值的角度研究了基于概率流 ODE 的确定性采样器的收敛性质,并证明了目标和生成数据分布之间的总变差可以在连续时间层面上通过 d√δ(其中 d 表示数据维度,δ 表示 L2 - 评分匹配误差)被上界限制,并针对使用 p 阶 Runge-Kutta 积分器进行具体实现的情况,建立了离散层面上的误差界限为 O (d (√δ + (dh)^p))。最后,我们进行了高达 128 个维度的问题的数值研究,验证了我们的理论,结果表明更好的评分匹配误差和维度依赖性。
Apr, 2024
使用概率流常微分方程进行基于得分的生成建模已经在各种应用领域取得了显著的成功。本文首次提供了关于概率流常微分方程采样器的非渐近收敛性分析,假定得分估计准确,并在 2-Wasserstein 距离下建立了一系列 ODE 采样器的迭代复杂性结果。
Jan, 2024
该研究发展了一套用于理解离散时间下扩散模型数据生成过程的非渐进理论,对于一种常见的确定性采样方法,该理论建立了一个与步骤总数 $T$ 成反比例的收敛速率,对于另一种主流随机采样方法,该理论得出了一个与步骤总数 $T$ 的平方根成反比例的收敛速率,同时设计了两种加速变体,进一步提高了收敛速度。
Jun, 2023
本文主要研究了扩散模型在计算机视觉中的应用,比较和分析了基于 ODE 和 SDE 的概率流和扩散模型在不同情况下的性能差异,研究表明,对于特定的脉冲形状误差,扩散系数越大,使用 SDE 模型生成样本的误差就会指数级下降,并且变化扩散系数可以提高样本质量。
本文提出了一种使用完全确定性采样的流匹配过程,该过程利用概率流 ODE 方法和去噪扩散隐式模型,为基于 ODE 的生成模型提供了误差界限。
May, 2023
扩散基于生成模型使用随机微分方程和其等效的常微分方程在复杂数据分布与可追踪的先验分布之间建立平滑连接。本文中,我们发现扩散模型的基于常微分方程的采样过程中存在着一些有趣的轨迹特性。我们表征了一个隐式去噪轨迹,并讨论了其在形成具有强形状规律性的耦合采样轨迹中的重要作用,无论生成的内容是什么。我们还描述了一种基于动态规划的方案,使得采样的时间安排更好地适应底层轨迹结构。这种简单的策略对于任何给定的基于常微分方程的数值求解器只需要最小的修改,并且在计算成本几乎可忽略的情况下,能够在图像生成中提供卓越的性能,特别是在 5 到 10 个函数评估中。
May, 2024
研究通过概率流神经常微分方程模型对梯度似然最大化攻击的密度估计鲁棒性以及与样本复杂度的关系,介绍和评估六种梯度似然最大化攻击,实验结果表明使用概率流神经常微分方程模型的密度估计对高复杂度和高似然攻击是鲁棒的,有时敌对样本具有语义上的意义,符合预期。
Oct, 2023
本文提出了一种用于采样扩散概率模型的快速高阶求解器 DPM-Solver,并通过自适应求解扩散常微分方程,可在数百或数千步骤内使用较小的神经网络采样高质量样本,相比于以往方法有明显速度优势
Jun, 2022
用普通微分方程(ODE)模型通过似然最大化进行训练的分布学习的非参数统计收敛分析是首次建立的,将速度场类和目标密度的相关收敛率以及对神经网络的影响纳入考虑。
Sep, 2023
通过分析得出结论,增加 Fokker-Planck 残差作为额外的正则化项可以缩小 ODE 和 SDE 生成的分布之间的差距,但这可能会导致 SDE 样本质量下降。
Nov, 2023