本文从 Wasserstein 梯度流的角度探索基于粒子的变分推断方法，并在理论和实践上做出了贡献，揭示了现有方法的假设和关系，并提出了一个加速框架和一个基于开发理论的有原则的带宽选择方法，这些方法利用了 Wasserstein 空间的几何，实验结果表明了加速框架的改善收敛和带宽选择方法提高了样本准确性。

Jul, 2018

该论文介绍了一种称为广义 Wasserstein 梯度下降（GWG）的粒子变分推断方法框架，基于 KL 散度的广义 Wasserstein 梯度流，可视为具有更广泛正则化器类的函数梯度方法，展示了 GWG 具有强大的收敛性保证，通过实验证明了该框架在模拟和真实数据问题上的有效性和高效性。

Oct, 2023

本文提出一种名为 PFG 的新粒子变分推断算法，采用一种 functional regularization 方法，支持更广泛的函数类，同时具有更好的可伸缩性和对恶劣条件分布的适应性，在渐进意义下连续地收敛于 KL 散度。

Nov, 2022

该研究提出了一种名为粒子变分推理（PVI）的新方法，通过粒子近似欧氏 - 瓦塞尔斯坦梯度流，利用经验度量来近似描述最优混合分布，并直接优化证据下界（ELBO），无需对混合分布做参数化假设。实证结果表明，PVI 在各种任务中表现出色，并对相关的自由能函数的梯度流行为进行了理论分析，证明了解的存在性和唯一性以及混乱传播结果。

Jun, 2024

本文介绍了一种新的方法，即分区变分推断（Partitioned Variational Inference），该方法明确了变分推断的基本维度，并统一了不同的文献，重点介绍了在分布式计算、连续学习等挑战性学习场景下进行变分推断的方法，并表明这些新方法在神经网络和高斯过程模型等领域中均能取得显著的性能提升。

Nov, 2018

本文提出了新的自然梯度算法来降低高斯平均场变分推断的实现难度，借助 Adam 优化器在梯度计算期间扰动网络权重，通过使用适应学习率的向量可以快速获得不确定性估计值。实验结果表明，我们的方法可以获得与现有变分推断相当的不确定性估计，并表明我们算法中的权重扰动可以用于强化学习和随机优化中的探索。

Jun, 2018

本文提出了一种基于隐式后验变分推断 (IPVI) 框架的多层深高斯过程模型，能够理想地恢复无偏后验信念，并仍保持时间效率高，该框架通过将 DGP 推断问题建模为一个两个玩家博弈，在该博弈平衡点处获得无偏后验信念，并设计最佳响应动态算法来寻找博弈均衡点，得到的实证表明 IPVI 在 DGPs 的近似方法中优于现有技术水平。

Oct, 2019

本文提出了两种计算有效（VP-SVGD 和 GB-SVGD）的 Stein 变分梯度下降算法，它们是特定的随机批处理逼近 SVG，具有证明的快速有限粒子收敛率。

May, 2023

本文提出了一种基于神经网络的参数化证见函数的改进 Stein 变分梯度下降方法，旨在解决传统 Stein 变分梯度下降中选择核函数的难题，经实验证明该方法在合成推理问题、贝叶斯线性回归和贝叶斯神经网络推理问题中有效可行。

Jul, 2021

本论文提出了一种基于 Wasserstein 空间梯度流、Fokker-Planck 方程和扩散过程的分析 mean field variational inference (MFVI) 算法的框架，旨在解决 MFVI 算法中的收敛问题。研究表明，此框架可以保证多种解决变分推断问题的算法的收敛性。

Oct, 2022