变分推理与Wasserstein梯度流之间的桥梁
本文介绍了基于Wasserstein变分推断的一种新的近似贝叶斯推断方法,该方法使用了包括f-分布和Wasserstein距离在内的一种新的差异度量方式,通过Sinkhorn迭代,该技术可以获得非常稳定的无似然训练方法,并且可以用于隐式分布和概率编程,同时应用于多种自编码器实验中,对其鲁棒性和性能进行了测试。
May, 2018
该研究论文介绍了一种基于Wasserstein梯度流的扩散过程的新近似推理方法,该方法直接在连续函数空间中计算Wasserstein梯度流,并具有可比拟的过滤能力。
Jun, 2018
本研究提出了一种新的变分推断方法,通过最小化切片Wasserstein距离来近似非规范化分布并使用神经网络对变分分布进行逼近。我们还提供了理论性分析,并用合成和实际数据进行了实验验证。
Jul, 2022
本论文提出了一种基于Wasserstein空间梯度流、Fokker-Planck方程和扩散过程的分析mean field variational inference (MFVI)算法的框架,旨在解决MFVI算法中的收敛问题。研究表明,此框架可以保证多种解决变分推断问题的算法的收敛性。
Oct, 2022
本文提出一种名为PFG的新粒子变分推断算法,采用一种 functional regularization 方法,支持更广泛的函数类,同时具有更好的可伸缩性和对恶劣条件分布的适应性,在渐进意义下连续地收敛于KL散度。
Nov, 2022
该论文介绍了一种称为广义Wasserstein梯度下降(GWG)的粒子变分推断方法框架,基于KL散度的广义Wasserstein梯度流,可视为具有更广泛正则化器类的函数梯度方法,展示了GWG具有强大的收敛性保证,通过实验证明了该框架在模拟和真实数据问题上的有效性和高效性。
Oct, 2023
Variational inference (变分推断) can be optimized using Wasserstein gradient descent methods to improve efficiency and alignment of variational parameters with the true posterior.
Oct, 2023
我们提出了一种快速路径梯度估计器,它显著提高了计算效率,并适用于所有实际相关的标准化流体结构。我们还证明了该估计器可以应用于最大似然训练,并且在几个自然科学应用中具有优越的性能和降低的方差。
Mar, 2024
本文解决了包容性KL推断的数学分析工具缺乏的问题,提出了一种基于偏微分方程分析的通用近似包容性KL推断范式。通过此视角,多个已有的学习算法可以被统一视为包容性KL推断的特例,最重要的发现是为包容性KL散度的最小化提供了Wasserstein-Fisher-Rao梯度流的理论基础。
Oct, 2024