流匹配方法的误差界
基于分数的生成模型中，我们从理论和数值的角度研究了基于概率流 ODE 的确定性采样器的收敛性质，并证明了目标和生成数据分布之间的总变差可以在连续时间层面上通过 d√δ（其中 d 表示数据维度，δ 表示 L2 - 评分匹配误差）被上界限制，并针对使用 p 阶 Runge-Kutta 积分器进行具体实现的情况，建立了离散层面上的误差界限为 O (d (√δ + (dh)^p))。最后，我们进行了高达 128 个维度的问题的数值研究，验证了我们的理论，结果表明更好的评分匹配误差和维度依赖性。
Apr, 2024
本文主要研究了扩散模型在计算机视觉中的应用，比较和分析了基于 ODE 和 SDE 的概率流和扩散模型在不同情况下的性能差异，研究表明，对于特定的脉冲形状误差，扩散系数越大，使用 SDE 模型生成样本的误差就会指数级下降，并且变化扩散系数可以提高样本质量。
Jun, 2023
本文研究了扩散模型以及它们在数据分布为高斯分布时的数值实现，通过精确表达不同的 Wasserstein 误差，从而比较每种误差类型对任何采样方案的影响，直接在数据空间中监测收敛性，实验证明扩散模型文献中推荐的数值方案也是适用于高斯分布的最佳采样方案。
May, 2024
该研究论文介绍了如何通过高阶噪声抑制分数匹配方法实现得分网络的最大似然训练，以提高得分模型的生成质量和对于数据概率分布的似然评估。
Jun, 2022
基于动态测量输运的生成模型通过学习常微分方程或随机微分方程，将初始条件从已知基础分布推导到目标分布。我们介绍了流图匹配算法，通过学习潜在常微分方程的双时间流图，得到了一个高效的几步生成模型，其步数可以根据精度和计算成本进行灵活的调节。与扩散模型或随机插值方法相比，流图匹配方法能够以显著降低的采样成本生成高质量样本。
Jun, 2024
通过使用切换的普通微分方程 (ODEs) 来消除奇点问题，我们提出了一个更通用的框架，Switched FM (SFM)，以解决连续时间生成模型中的采样速度缓慢的问题，并演示了该框架的有效性。
May, 2024
我们介绍了一种基于常微分方程（ODE）的深度生成方法，称为条件 Follmer 流。该方法能够将标准高斯分布有效地转换为目标条件分布。在实现上，我们使用欧拉方法离散化流，并使用深度神经网络非参数地估计速度场。此外，我们推导出学习样本分布与目标分布之间的 Wasserstein 距离的非渐近收敛速率，为通过 ODE 流进行条件分布学习提供了首个全面的端到端误差分析。我们的数值实验展示了其在一系列场景中的有效性，从标准的非参数条件密度估计问题到涉及图像数据的更复杂挑战，证明了它在各种现有条件密度估计方法上的优势。
Feb, 2024
扩散基于生成模型使用随机微分方程和其等效的常微分方程在复杂数据分布与可追踪的先验分布之间建立平滑连接。本文中，我们发现扩散模型的基于常微分方程的采样过程中存在着一些有趣的轨迹特性。我们表征了一个隐式去噪轨迹，并讨论了其在形成具有强形状规律性的耦合采样轨迹中的重要作用，无论生成的内容是什么。我们还描述了一种基于动态规划的方案，使得采样的时间安排更好地适应底层轨迹结构。这种简单的策略对于任何给定的基于常微分方程的数值求解器只需要最小的修改，并且在计算成本几乎可忽略的情况下，能够在图像生成中提供卓越的性能，特别是在 5 到 10 个函数评估中。
May, 2024
通过分析得出结论，增加 Fokker-Planck 残差作为额外的正则化项可以缩小 ODE 和 SDE 生成的分布之间的差距，但这可能会导致 SDE 样本质量下降。
Nov, 2023