再生核希尔伯特空间中f-散度的Moreau衬度的Wasserstein梯度流
本文通过收紧文献中已使用的f-divergences变分表示方法,提出了更紧的表示方法。作为一个示例应用,我们使用更紧的表示法推导出一种基于两个独立同分布样本的通用的f-divergence估计器,并推导出该估计器的对偶程序,在实践中表现良好。我们还指出了该估计器与最大均值差异(MMD)之间的联系。
Jun, 2012
应用最优输运及熵正则化计算Wasserstein距离中的Sinkhorn近似算法的梯度,可以提高学习和优化问题的效率,同时通过高阶平滑性,也可以提供统计保证。
May, 2018
本研究借鉴正则化理论,提出算法,利用二阶Wasserstein距离和Lipschitz性质,通过解决优化问题来得到光滑的Brenier凸函数,实现了快速而准确的图像传输。
May, 2019
本论文介绍了 Stein Variational Gradient Descent (SVGD) 算法的一种新视角,将 SVGD 视为卡方散度的(核化)梯度流,提出了一种基于目标密度关联的拉普拉斯算子的谱分解实现的替代方法,称为 Laplacian Adjusted Wasserstein Gradient Descent (LAWGD),这种方法表现出强大的收敛保证和良好的实际性能。
Jun, 2020
本文基于Wasserstein-1度量定义了$f$-divergences的Moreau-Yosida近似,推导了相应的变分公式,并给出了一种计算$f$-divergences的紧凸共轭的算法。此外,作者还提出了基于Moreau-Yosida $f$-GAN的实现,并在CIFAR-10上进行了训练。实验结果表明,该方法可以提供竞争性结果并解决最优评论家的唯一性问题。
Feb, 2021
在这项研究中,我们探讨了在概率空间上定义的Sobolev平滑函数的数值逼近的挑战性问题。我们采用三种基于机器学习的方法,通过求解有限个最优传输问题和计算相应的Wasserstein潜势,使用Wasserstein Sobolev空间中的经验风险最小化和Tikhonov正则化,以及通过表征Tikhonov泛函的Euler-Lagrange方程的弱形式来解决这个问题。作为理论贡献,我们对每种解决方法的泛化误差提供了明确且定量的界限。在数值实现中,我们利用适当设计的神经网络作为基函数,经过多种方法的训练,使我们能够在训练后快速评估逼近函数。因此,我们的构造性解决方案在相同准确性下显著提高了评估速度,超过了现有方法数个数量级。
Oct, 2023
本文介绍了变分推断和Wasserstein梯度流之间的联系,通过将Bures-Wasserstein梯度流转化为欧几里德梯度流,并使用路径导数梯度估计器生成梯度场,同时提供了一种新的梯度估计方法适用于$f$-divergences的拓展。
Oct, 2023
通过两个反例,我们研究了前向欧拉离散化方法在模拟Wasserstein梯度流方面的失败,即使对于能量函数定义为相对于一些结构完整的概率密度的KL散度的简单情况也是如此。我们还讨论了这种失败的简单解释。
Jun, 2024
本文解决了包容性KL推断的数学分析工具缺乏的问题,提出了一种基于偏微分方程分析的通用近似包容性KL推断范式。通过此视角,多个已有的学习算法可以被统一视为包容性KL推断的特例,最重要的发现是为包容性KL散度的最小化提供了Wasserstein-Fisher-Rao梯度流的理论基础。
Oct, 2024