最优概率测度分解的 Wasserstein 梯度流
本文提出一种应用于概率分布空间优化问题中的变分形式的 Wasserstein 梯度流方法,该方法利用了内部批量样本更新,实现了良好定义和有意义的目标函数下的梯度流构造,并在合成和真实高维数据集的实验中展示了其性能和可扩展性。
Dec, 2021
本文针对概率度量空间上基于 Wasserstein 距离的梯度流理论进行了阐述,涵盖了欧氏理论的一般化和 Jordan-Kinderleher-Otto 方案的详细描述,并介绍了其他梯度流 PDEs 和基于这些思想的数值方法,最后阐述了 Ambrosio、Gigli、Savar 和 Kuwada 和 Ohta 最新理论成果研究度量空间热流问题。
Sep, 2016
本文研究了基于梯度流的采样方法的设计要素,主要包括能量函数、度量、和用于算法推导的梯度流的数值近似。首先,我们展示了 Kullback-Leibler 散度作为能量函数的独特性质,即由它引导的梯度流与目标分布的标准化常数无关。其次,我们从不变性的角度研究了度量的选择,引入了一种放松的仿射不变性,构建了各种仿射不变的 Wasserstein 和 Stein 梯度流。最后,基于高斯近似的梯度流方法被提出,并与参数变分推断衍生的梯度方法建立了联系,理论和数值上研究了它们的收敛性。
Oct, 2023
该研究论文介绍了一种基于 Wasserstein 梯度流的扩散过程的新近似推理方法,该方法直接在连续函数空间中计算 Wasserstein 梯度流,并具有可比拟的过滤能力。
Jun, 2018
Variational inference (变分推断) can be optimized using Wasserstein gradient descent methods to improve efficiency and alignment of variational parameters with the true posterior.
Oct, 2023
通过将优化方法扩展到 Wasserstein 空间中的 Riemannian manifold,我们提出了用于连续优化的随机梯度下降和随机方差减少梯度流,证明了这些梯度流的收敛速度,与 Euclidean 空间中的结果相匹配。
Jan, 2024
本篇论文在有限集合上构建了概率测度集合的度量,并且研究了该度量下连续时间 Markov 链演化到熵梯度流的问题,与 Jordan 等人提出的 Wasserstein 梯度流热力学解释相似但不同,该度量是通过离散版本的 Benamou-Brenier 公式定义的。
Feb, 2011
论文提供了关于在 Wasserstein 损失下仅使用样本空间的测度性质和概率分布的弱矩假设,对于概率分布的估计的统计极小值率上下界的研究。
Feb, 2018
本文提出一种新的方法来解决多层次聚类问题,该方法旨在同时将数据在每个组中分区,并在潜在的大型分层结构数据集中发现组间的分组模式。我们的方法涉及到多个离散概率测度空间上的联合优化方案,这些测度空间具有 Wasserstein 距离度量。通过利用与 Wasserstein barycenter 问题的联系,我们提出了该问题的许多变体,这些变体可以采用快速的优化算法。本文还建立了局部和全局聚类估计的一致性性质。最后,使用合成和真实数据展示了所提出方法的灵活性和可扩展性。
Jun, 2017