通过 Wasserstein 空间中的近端梯度下降实现基于流的生成模型的收敛
本文提出一种应用于概率分布空间优化问题中的变分形式的 Wasserstein 梯度流方法,该方法利用了内部批量样本更新,实现了良好定义和有意义的目标函数下的梯度流构造,并在合成和真实高维数据集的实验中展示了其性能和可扩展性。
Dec, 2021
本文提出了一种可扩展的基于 Wasserstein 梯度流的生成模型,称为 Semi-dual JKO (S-JKO),通过使用 JKO 步骤的半对偶形式,将训练复杂度降低至 O (K),实验证明该模型在 CIFAR-10 和 CelebA-HQ-256 数据集上取得了显著优于现有 WGF 模型的 FID 分数,与最先进的图像生成模型相当。
Feb, 2024
使用概率流常微分方程进行基于得分的生成建模已经在各种应用领域取得了显著的成功。本文首次提供了关于概率流常微分方程采样器的非渐近收敛性分析,假定得分估计准确,并在 2-Wasserstein 距离下建立了一系列 ODE 采样器的迭代复杂性结果。
Jan, 2024
本文针对概率度量空间上基于 Wasserstein 距离的梯度流理论进行了阐述,涵盖了欧氏理论的一般化和 Jordan-Kinderleher-Otto 方案的详细描述,并介绍了其他梯度流 PDEs 和基于这些思想的数值方法,最后阐述了 Ambrosio、Gigli、Savar 和 Kuwada 和 Ohta 最新理论成果研究度量空间热流问题。
Sep, 2016
我们着眼于得分基础生成模型(SGMs)的基本数学结构,以 Wasserstein 邻近算子(WPO)为基础进行了 SGMs 的数学形式重构,并通过均匀场博弈(MFGs)揭示出描述扩散和基于得分模型的归纳偏差的数学结构。借助 Cole-Hopf 变换和交叉熵与密度的线性功能之间的关系,我们发现 HJB 方程是一个无控制的 FP 方程。其次,基于得到的数学结构,我们提出了一个可解释的基于核函数的得分函数模型,大大提升了 SGMs 在训练样本和训练时间方面的性能。新的基于核函数的模型的数学形式与 MFG 的终端条件的使用揭示了 SGMs 的流形学习和泛化特性的新解释,并解决了它们的记忆效应问题。最后,我们提出了一种基于数学信息和可解释性的基于核函数的模型,为高维应用提供了新的可扩展的定制神经网络架构。
Feb, 2024
通过最小化二阶 Wasserstein 损失(即 $W_2$ 损失),该论文处理无监督学习问题。论文证明了方式一通过分布相关的常微分方程(ODE)动力学的超限势潜力近似估计当前分布与真实数据分布之间的关系。主要结果显示 ODE 的时变边界概率收敛到真实数据分布。为了证明 ODE 具有唯一解,首先明确构造了与关联的非线性 Fokker-Planck 方程相关的解,并证明它与 $W_2$ 损失的唯一梯度流相吻合。基于此,通过 Trevisan 的叠加原理和指数收敛结果,构建了 ODE 的唯一解。该论文提出了一个分布相关 ODE 的欧拉方案,并在极限情况下正确恢复了 $W_2$ 损失的梯度流。通过遵循该方案和应用持久训练,设计了一个算法,其自然地适用于梯度流框架。在低维和高维实验中,我们的算法通过适当增加持久训练水平,比 Wasserstein 生成对抗网络收敛更快且性能更好。
Jun, 2024
我们以具有未知均值的高斯分布的抽样为动机示例,通过扩散生成模型提供了在强对数凹数据分布假设下的收敛性行为的全面理论保证。我们的评估函数类使用的逼近是利普希茨连续函数,同时通过与相应的抽样估计相结合,对于与数据分布之间的 Wasserstein-2 距离等关键量感兴趣的最佳上界估计提供了显式估计。该论文还引入了基于 L2 准确评分估计假设的结果,以适用于各种随机优化器。该方法在我们的抽样算法上得到了已知的最佳收敛速度。
Nov, 2023
本研究提出了一种基于梯度流的、无需参数的算法,用于学习复杂数据集的潜在分布和从中进行抽样。该算法是建立在隐式生成建模 (IGM) 与最优输运之间的联系理论基础上,并通过泛函优化问题的方式得以实现。通过梯度流和随机微分方程的联系,该算法既能高效地解决优化问题,还提供了理论分析和有限时间误差保证。实验结果表明,该算法能够成功地捕捉不同类型的数据分布结构。
Jun, 2018