本文介绍了一种基于随机优化的替代算法，可以直接优化变分下界，通过控制变量来减少随机梯度的方差，其在非共轭模型：逻辑回归和HDP近似中的效果得到了证明。

Jun, 2012

在这篇论文中，我们讨论了一种广义均场理论，它使用可追踪分布的丰富集合来近似表示一类难以处理的分布，并通过分布空间上的约束优化来实现。我们还介绍了一类广义均场算法，用于复杂的指数族模型的近似推断，它将复杂模型分解成一组不相交变量簇，并使用一组规范的定点方程来迭代地更新参数，找到保留每个簇内原始依赖结构的局部最优参数，因此完全分解了整体推断问题。通过实验证明，我们比较了不同可追踪族群（不同粒度的簇）对推理质量的影响，并将其与BP算法在几个标准模型上进行了比较。还讨论了高阶MF逼近的可能扩展。

Oct, 2012

本文介绍了一种改进的随机变分推断方法，其中使用移动平均方法构建代替自然梯度的向量，得到了更高的计算计算效率和更小的误差。测试表明该方法在大规模数据上表现良好。

Jun, 2014

提出了一种新的算法Boosting Variational Inference（BVI），它基于渐进的计算，能够捕捉多模态、一般后验协方差和非标准后面形状，并且使用一个更灵活的逼近族，包括所有可能的有限混合一个参数基础分布（例如高斯）。

Nov, 2016

本文综述了变分推断中的最新趋势，介绍了标准的均值场变分推断，然后回顾了最近的进展，包括可扩展的 VI，通用的 VI，准确的 VI 以及摊余的 VI，并提供有关未来研究方向的总结。

Nov, 2017

提出了一种基于优化的贝叶斯推论的新颖泛化方法，称为三原则规则，并通过GVI（广义变分推论）的探索得出应用，包括提高了贝叶斯神经网络和深高斯过程的预测性能和适当的边际。

Apr, 2019

本文基于函数分析和优化工具，对变分推断(VI)方法中的坐标上升变分推断(CAVI)算法进行收敛性分析，提出基于广义相关性的算法收缩速率测度，并在多个实例中应用了该理论，得出了算法收缩速率的明确上界。

Jun, 2023

深度学习和贝叶斯深度学习使用变分推断和边缘似然来进行后验推理和模型选择。

Jan, 2024

我们提出了一种新的变分推断方法 $\Xi$-变分推断 ($\Xi$-VI)，通过熵正则化扩展了朴素均值场。$\Xi$-VI与熵最优输运问题密切相关，并从计算高效的Sinkhorn算法中受益。我们展示了$\Xi$-变分后验能够有效恢复真实的后验依赖关系，其中依赖关系由正则化参数进行加权。我们分析了参数空间维度对 $\Xi$-变分近似精度的影响以及它对计算的影响，从而粗略刻画了$\Xi$-VI中的统计计算权衡。我们还研究了$\Xi$-VI的经验性质，并建立了关于一致性、渐近正态性、高维渐近性和算法稳定性的结果。我们提供了使用该方法实现多项式时间近似推断的充分条件。最后，我们在模拟和真实数据上展示了 $\Xi$-VI 相对于均值场变分推断的实际优势。

Apr, 2024

通过优化固定协方差和常值权重的高斯混合模型，将变分推断（Variational Inference）视为最小化平滑相对熵，研究其在非高斯情况下的理论性质，包括梯度下降和粒子系统优化。

Jun, 2024