Wasserstein 梯度流的近似推断
本文介绍了变分推断和 Wasserstein 梯度流之间的联系,通过将 Bures-Wasserstein 梯度流转化为欧几里德梯度流,并使用路径导数梯度估计器生成梯度场,同时提供了一种新的梯度估计方法适用于 $f$-divergences 的拓展。
Oct, 2023
本文介绍了基于 Wasserstein 变分推断的一种新的近似贝叶斯推断方法,该方法使用了包括 f - 分布和 Wasserstein 距离在内的一种新的差异度量方式,通过 Sinkhorn 迭代,该技术可以获得非常稳定的无似然训练方法,并且可以用于隐式分布和概率编程,同时应用于多种自编码器实验中,对其鲁棒性和性能进行了测试。
May, 2018
本研究提出了一种基于梯度流的、无需参数的算法,用于学习复杂数据集的潜在分布和从中进行抽样。该算法是建立在隐式生成建模 (IGM) 与最优输运之间的联系理论基础上,并通过泛函优化问题的方式得以实现。通过梯度流和随机微分方程的联系,该算法既能高效地解决优化问题,还提供了理论分析和有限时间误差保证。实验结果表明,该算法能够成功地捕捉不同类型的数据分布结构。
Jun, 2018
本文提出一种应用于概率分布空间优化问题中的变分形式的 Wasserstein 梯度流方法,该方法利用了内部批量样本更新,实现了良好定义和有意义的目标函数下的梯度流构造,并在合成和真实高维数据集的实验中展示了其性能和可扩展性。
Dec, 2021
Variational inference (变分推断) can be optimized using Wasserstein gradient descent methods to improve efficiency and alignment of variational parameters with the true posterior.
Oct, 2023
通过水平曲线空间内连续均值的 B 样条逼近和插值,我们提出了一种处理粒子轨迹推断问题的方法,可以在一定精度和光滑度下自动处理时间上的分裂情况,并通过对模拟细胞数据进行测试,在推断轨迹方面表现出卓越性能,并突出了尊重数据固有几何特性的插值和逼近的优势。
May, 2024
本文针对概率度量空间上基于 Wasserstein 距离的梯度流理论进行了阐述,涵盖了欧氏理论的一般化和 Jordan-Kinderleher-Otto 方案的详细描述,并介绍了其他梯度流 PDEs 和基于这些思想的数值方法,最后阐述了 Ambrosio、Gigli、Savar 和 Kuwada 和 Ohta 最新理论成果研究度量空间热流问题。
Sep, 2016
该论文介绍了一种称为广义 Wasserstein 梯度下降(GWG)的粒子变分推断方法框架,基于 KL 散度的广义 Wasserstein 梯度流,可视为具有更广泛正则化器类的函数梯度方法,展示了 GWG 具有强大的收敛性保证,通过实验证明了该框架在模拟和真实数据问题上的有效性和高效性。
Oct, 2023
我们提出了神经 Sinkhorn 梯度流(NSGF)模型,该模型使用神经网络来逼近底层 Wasserstein 梯度流的一部分,通过 Sinkhorn 分歧到目标分布的时间变化速度场的参数化,利用速度场匹配训练方案进行样本估计。理论分析表明,随着样本数量无限增加,经验估计的均场近似收敛于真实的底层速度场。为进一步提高模型在高维任务上的效率,我们设计了一个两阶段的 NSGF++ 模型,首先使用 Sinkhorn 流快速接近图像流形(≤5 次 NFE),然后沿着简单的直线流细化样本。通过合成和真实世界基准数据集的数值实验证明了我们的理论结果并证明了所提出方法的有效性。
Jan, 2024