通过在 Wasserstein 空间中的多面体优化实现均场变分推断的算法
本论文提出了一种基于 Wasserstein 空间梯度流、Fokker-Planck 方程和扩散过程的分析 mean field variational inference (MFVI) 算法的框架,旨在解决 MFVI 算法中的收敛问题。研究表明,此框架可以保证多种解决变分推断问题的算法的收敛性。
Oct, 2022
在这项研究中,我们探讨了在概率空间上定义的 Sobolev 平滑函数的数值逼近的挑战性问题。我们采用三种基于机器学习的方法,通过求解有限个最优传输问题和计算相应的 Wasserstein 潜势,使用 Wasserstein Sobolev 空间中的经验风险最小化和 Tikhonov 正则化,以及通过表征 Tikhonov 泛函的 Euler-Lagrange 方程的弱形式来解决这个问题。作为理论贡献,我们对每种解决方法的泛化误差提供了明确且定量的界限。在数值实现中,我们利用适当设计的神经网络作为基函数,经过多种方法的训练,使我们能够在训练后快速评估逼近函数。因此,我们的构造性解决方案在相同准确性下显著提高了评估速度,超过了现有方法数个数量级。
Oct, 2023
本研究提出了一种新的变分推断方法,通过最小化切片 Wasserstein 距离来近似非规范化分布并使用神经网络对变分分布进行逼近。我们还提供了理论性分析,并用合成和实际数据进行了实验验证。
Jul, 2022
该研究通过引入熵平滑,将 Carlier 等人(2014)所提出的 Wasserstein 变分问题的对偶式正则化,从而处理了涉及 Wasserstein 距离的计算问题,得到了更容易实现和数值更稳定的优化问题,应用于计算 Wasserstein 重心和空间规则化函数的梯度流。
Mar, 2015
用 Voronoi 分区进行离散和分段常数测量对 Wasserstein 空间 Wp (R^d) 进行测量结构化近似。通过使用缩放的 Lattice 网格进行 Voronoi 分区,我们表明无论 d 或 p 如何,基于 hLambda 的 Voronoi 分区的测量的近似误差是 O (h)。然后,我们使用覆盖论证表明,紧支承测量的 N 项近似是 O (N^(-1/d)),这与最优量化器和经验测量近似的已知速率相匹配。最后,我们将这些结果推广到具有足够衰减的非紧支承测量。
Oct, 2023
本文介绍了基于 Wasserstein 变分推断的一种新的近似贝叶斯推断方法,该方法使用了包括 f - 分布和 Wasserstein 距离在内的一种新的差异度量方式,通过 Sinkhorn 迭代,该技术可以获得非常稳定的无似然训练方法,并且可以用于隐式分布和概率编程,同时应用于多种自编码器实验中,对其鲁棒性和性能进行了测试。
May, 2018
本文提出一种应用于概率分布空间优化问题中的变分形式的 Wasserstein 梯度流方法,该方法利用了内部批量样本更新,实现了良好定义和有意义的目标函数下的梯度流构造,并在合成和真实高维数据集的实验中展示了其性能和可扩展性。
Dec, 2021
本文旨在建立流形学习算法在紧凸子集上绝对连续概率测度空间中的理论基础,其中测度空间以 Wasserstein-2 距离 W 度量。我们首先介绍了概率测度子流形 Λ 的一种自然构造,配备了度量 Wλ,这是 W 对 Λ 的测地距离限制。与其他构造形成对比,这些子流形不一定是平坦的,但仍然允许类似于 Riemann 流形的局部线性化。然后,我们展示了如何仅通过 Λ 的样本集合和外在 Wasserstein 距离 W 来学习(Λ,Wλ)的潜在流形结构。特别地,我们展示了度量空间(Λ,Wλ)可以从具有节点 Λ 样本集合和边权重 W (λi, λj) 的图中,按照 Gromov-Wasserstein 的意义上逐渐恢复。此外,我们通过对从 λ 到足够接近和不同的样本 Λ 集合中,使用最优输运映射的合适 “协方差算符” 的谱分析,展示了如何渐近地恢复样本 λ 处的切空间。本文最后给出了一些关于子流形 Λ 的具体构造以及通过谱分析恢复切空间的数值例子。
Nov, 2023
本文研究贝叶斯推断问题,特别关注于最近引入的斯坦变分梯度下降方法,介绍了该方法的交互粒子系统构建;并通过研究选择合适的正定核函数的问题,提出采用调整尾部的某些不可微核函数,证明在各种数值实验中这种方法具有明显的性能提升。
Dec, 2019
Variational inference (变分推断) can be optimized using Wasserstein gradient descent methods to improve efficiency and alignment of variational parameters with the true posterior.
Oct, 2023