流匹配方法的误差界
基于连续归一化流的生成建模范例中,发现使用流匹配方法与扩散路径一起训练更具有鲁棒性和稳定性,并且可以开启使用优化运输插值定义的非扩散概率路径,该方法比传统扩散模型更适用于训练 ImageNet,并能快速生成可靠采样结果。
Oct, 2022
本文主要研究了扩散模型在计算机视觉中的应用,比较和分析了基于ODE和SDE的概率流和扩散模型在不同情况下的性能差异,研究表明,对于特定的脉冲形状误差,扩散系数越大,使用SDE模型生成样本的误差就会指数级下降,并且变化扩散系数可以提高样本质量。
Jun, 2023
使用概率流常微分方程进行基于得分的生成建模已经在各种应用领域取得了显著的成功。本文首次提供了关于概率流常微分方程采样器的非渐近收敛性分析,假定得分估计准确,并在2-Wasserstein距离下建立了一系列ODE采样器的迭代复杂性结果。
Jan, 2024
SeqRF是一种学习技术,通过改善概率流的直线性来减少全局截断误差,加速采样并提高合成质量。在理论和实证研究中,我们观察到了SeqRF的直线性属性,并通过SeqRF在基于流模型的生成模型上进行的实证评估,在CIFAR-10、CelebA-$64 imes 64$和LSUN-Church数据集上取得了优异的结果。
Feb, 2024
基于分数的生成模型中,我们从理论和数值的角度研究了基于概率流ODE的确定性采样器的收敛性质,并证明了目标和生成数据分布之间的总变差可以在连续时间层面上通过d√δ(其中d表示数据维度,δ表示L2-评分匹配误差)被上界限制,并针对使用p阶Runge-Kutta积分器进行具体实现的情况,建立了离散层面上的误差界限为O(d(√δ + (dh)^p))。最后,我们进行了高达128个维度的问题的数值研究,验证了我们的理论,结果表明更好的评分匹配误差和维度依赖性。
Apr, 2024
该论文讨论了流匹配在$p$-Wasserstein距离方面的收敛性质,通过研究一类更广泛的向量场的均值和方差函数,确定实现这些最优速率所必需的特定条件,并且证明了流匹配能够达到与扩散模型相当的收敛速率,从而为流匹配作为一种无需模拟的生成模型提供了第一条理论证据。
May, 2024
对于扩散模型的准确性进行了理论研究,通过梯度下降方法对去噪积分评分匹配的训练和采样过程进行了非渐近收敛分析,并提供了方差爆炸模型的抽样误差分析。通过这两个结果的结合,明确了如何设计有效生成的训练和采样过程。
Jun, 2024
本研究解决了扩散模型在生成建模中的收敛问题,提出了一种基于基本非渐近方法的概率流常微分方程采样器的收敛理论。研究表明,在满足最小假设条件下,使用$ \ell_2 $精确估计的Stein得分函数,经过$d/\varepsilon$次迭代即可将目标分布近似至$\varepsilon$的全变差距离,显著提高了对数据生成过程的理解。
Aug, 2024
本研究解决了扩散流匹配模型在有限时间内实现目标分布与辅助分布之间的桥接问题。通过提出相对温和的假设,研究为扩散流匹配模型提供了非渐近性的理论保障,确立了目标分布与生成分布之间的Kullback-Leibler散度的界限,具有重要的应用潜力。
Sep, 2024