提出了一种用于概率模型的折叠变分推断算法的通用方法，该方法整合了许多现有的折叠变分推断方法，并基于较快的共轭梯度优化方法导出新的较低边际似然性的下界。

Jun, 2012

文章展示了如何通过松弛均场独立近似来减少对局部最优解和超参数的敏感性，使得全局参数和局部隐藏变量之间的任意依赖关系得以被考虑，从而提高参数估计的精度。

Apr, 2014

本研究考虑在对数超模型中进行近似贝叶斯推断，提出一种基于变分方法的L-FIELD方法可以更加高效地解决这个问题。进一步分析了L-FIELD的性质，并在图像分割中的应用证实了其可扩展性和高质量性能。

Feb, 2015

本文提出了一种基于近端梯度的方法，用于优化变分目标，该方法天然可并行化且易于实施，证明了其收敛性，并且实践证明其收敛速度更快，并且通常能找到更好的最优解，此外我们的方法对参数选择的敏感性更低。

Nov, 2015

本文提供了一种新的较优KL误差的均场近似上下界，并推广到高阶马尔可夫随机场。结合组合数学和优化技术，我们还研究了估计Ising模型及马尔可夫随机场自由能的算法问题。我们提供了多种算法，在多项式时间复杂度内误差均控制在某个界内。

Feb, 2018

本研究提出了一种新的变分推断方法，通过最小化切片Wasserstein距离来近似非规范化分布并使用神经网络对变分分布进行逼近。我们还提供了理论性分析，并用合成和实际数据进行了实验验证。

Jul, 2022

本论文提出了一种基于Wasserstein空间梯度流、Fokker-Planck方程和扩散过程的分析mean field variational inference (MFVI)算法的框架，旨在解决MFVI算法中的收敛问题。研究表明，此框架可以保证多种解决变分推断问题的算法的收敛性。

Oct, 2022

本文基于函数分析和优化工具，对变分推断(VI)方法中的坐标上升变分推断(CAVI)算法进行收敛性分析，提出基于广义相关性的算法收缩速率测度，并在多个实例中应用了该理论，得出了算法收缩速率的明确上界。

Jun, 2023

在高维度的贝叶斯线性模型中，通过最小化TAP自由能量，我们展示了一种局部最小化算法，提供了与后验边际一致的估计，并可用于正确校准的后验推断。在一定的一般条件下，这种局部最小值可以通过Approximate Message Passing (AMP)算法找到，从而在局部邻域内线性收敛到最小值。

Nov, 2023

均场变分推断（VI）是找到相对熵意义下到给定的高维概率测度$\rho$最接近的分布（分解测度）的问题。本文证明了在对数凹密度$\rho$情况下，均场变分推断CAVI的收敛性。若附加条件$\log \rho$具有Lipschitz梯度，则收敛速度为线性，若$\rho$也是强对数凹的，则收敛速度为指数级。我们的分析始于观察到当$\rho$为对数凹时，均场VI在优化输运的意义下是凸的，从而使我们能够借鉴来自欧几里得空间上坐标下降算法的优化文献中的技术。

Apr, 2024