本文介绍了一种基于 Markov 过程的 mean field variational approximation 方法，用于近似描述 Continuous-time Bayesian networks 中的概率分布，并提供了较好的推断和学习效果。

May, 2012

文章展示了如何通过松弛均场独立近似来减少对局部最优解和超参数的敏感性，使得全局参数和局部隐藏变量之间的任意依赖关系得以被考虑，从而提高参数估计的精度。

Apr, 2014

提出了一种新的算法Boosting Variational Inference（BVI），它基于渐进的计算，能够捕捉多模态、一般后验协方差和非标准后面形状，并且使用一个更灵活的逼近族，包括所有可能的有限混合一个参数基础分布（例如高斯）。

Nov, 2016

本文综述了变分推断中的最新趋势，介绍了标准的均值场变分推断，然后回顾了最近的进展，包括可扩展的 VI，通用的 VI，准确的 VI 以及摊余的 VI，并提供有关未来研究方向的总结。

Nov, 2017

本文基于函数分析和优化工具，对变分推断(VI)方法中的坐标上升变分推断(CAVI)算法进行收敛性分析，提出基于广义相关性的算法收缩速率测度，并在多个实例中应用了该理论，得出了算法收缩速率的明确上界。

Jun, 2023

该论文介绍了一种称为广义Wasserstein梯度下降（GWG）的粒子变分推断方法框架，基于KL散度的广义Wasserstein梯度流，可视为具有更广泛正则化器类的函数梯度方法，展示了GWG具有强大的收敛性保证，通过实验证明了该框架在模拟和真实数据问题上的有效性和高效性。

Oct, 2023

本文介绍了变分推断和Wasserstein梯度流之间的联系，通过将Bures-Wasserstein梯度流转化为欧几里德梯度流，并使用路径导数梯度估计器生成梯度场，同时提供了一种新的梯度估计方法适用于$f$-divergences的拓展。

Oct, 2023

在高维度的贝叶斯线性模型中，通过最小化TAP自由能量，我们展示了一种局部最小化算法，提供了与后验边际一致的估计，并可用于正确校准的后验推断。在一定的一般条件下，这种局部最小值可以通过Approximate Message Passing (AMP)算法找到，从而在局部邻域内线性收敛到最小值。

Nov, 2023

有限维多面体子集、Wasserstein空间、均场变分推断、最小化算法和KL散度。

Dec, 2023

我们提出了一种新的变分推断方法 $\Xi$-变分推断 ($\Xi$-VI)，通过熵正则化扩展了朴素均值场。$\Xi$-VI与熵最优输运问题密切相关，并从计算高效的Sinkhorn算法中受益。我们展示了$\Xi$-变分后验能够有效恢复真实的后验依赖关系，其中依赖关系由正则化参数进行加权。我们分析了参数空间维度对 $\Xi$-变分近似精度的影响以及它对计算的影响，从而粗略刻画了$\Xi$-VI中的统计计算权衡。我们还研究了$\Xi$-VI的经验性质，并建立了关于一致性、渐近正态性、高维渐近性和算法稳定性的结果。我们提供了使用该方法实现多项式时间近似推断的充分条件。最后，我们在模拟和真实数据上展示了 $\Xi$-VI 相对于均值场变分推断的实际优势。

Apr, 2024