本文基于函数分析和优化工具，对变分推断 (VI) 方法中的坐标上升变分推断 (CAVI) 算法进行收敛性分析，提出基于广义相关性的算法收缩速率测度，并在多个实例中应用了该理论，得出了算法收缩速率的明确上界。

Jun, 2023

Variational inference (变分推断) can be optimized using Wasserstein gradient descent methods to improve efficiency and alignment of variational parameters with the true posterior.

Oct, 2023

本文综述了变分推断中的最新趋势，介绍了标准的均值场变分推断，然后回顾了最近的进展，包括可扩展的 VI，通用的 VI，准确的 VI 以及摊余的 VI，并提供有关未来研究方向的总结。

Nov, 2017

本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代 VI 研究中的重要问题进行了全面的讨论。

Jan, 2016

通过优化固定协方差和常值权重的高斯混合模型，将变分推断（Variational Inference）视为最小化平滑相对熵，研究其在非高斯情况下的理论性质，包括梯度下降和粒子系统优化。

Jun, 2024

本文研究贝叶斯推断问题，特别关注于最近引入的斯坦变分梯度下降方法，介绍了该方法的交互粒子系统构建；并通过研究选择合适的正定核函数的问题，提出采用调整尾部的某些不可微核函数，证明在各种数值实验中这种方法具有明显的性能提升。

Dec, 2019

本文提出了一种基于近端梯度的方法，用于优化变分目标，该方法天然可并行化且易于实施，证明了其收敛性，并且实践证明其收敛速度更快，并且通常能找到更好的最优解，此外我们的方法对参数选择的敏感性更低。

Nov, 2015

均场变分推断（VI）是找到相对熵意义下到给定的高维概率测度 $\rho$ 最接近的分布（分解测度）的问题。本文证明了在对数凹密度 $\rho$ 情况下，均场变分推断 CAVI 的收敛性。若附加条件 $\log \rho$ 具有 Lipschitz 梯度，则收敛速度为线性，若 $\rho$ 也是强对数凹的，则收敛速度为指数级。我们的分析始于观察到当 $\rho$ 为对数凹时，均场 VI 在优化输运的意义下是凸的，从而使我们能够借鉴来自欧几里得空间上坐标下降算法的优化文献中的技术。

Apr, 2024

在这篇论文中，我们讨论了一种广义均场理论，它使用可追踪分布的丰富集合来近似表示一类难以处理的分布，并通过分布空间上的约束优化来实现。我们还介绍了一类广义均场算法，用于复杂的指数族模型的近似推断，它将复杂模型分解成一组不相交变量簇，并使用一组规范的定点方程来迭代地更新参数，找到保留每个簇内原始依赖结构的局部最优参数，因此完全分解了整体推断问题。通过实验证明，我们比较了不同可追踪族群（不同粒度的簇）对推理质量的影响，并将其与 BP 算法在几个标准模型上进行了比较。还讨论了高阶 MF 逼近的可能扩展。

Oct, 2012

本文提出了正向反向高斯变分推断算法，利用 KL 散度的结构，能够有效逼近高斯目标分布，得到了最新颖的收敛保证。

Apr, 2023