提出了一种基于随机梯度方法的变分推断新方法，不仅利用变分参数空间的几何性质，而且即使对于非共轭模型也可以产生简单的闭合式更新，该方法也具有收敛速率分析，即使用于非凸目标的随机镜像下降。在多种问题上，实验证明新算法在该框架中导出可以导致最先进的结果。

Oct, 2015

本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代VI研究中的重要问题进行了全面的讨论。

Jan, 2016

提出了一种新的算法Boosting Variational Inference（BVI），它基于渐进的计算，能够捕捉多模态、一般后验协方差和非标准后面形状，并且使用一个更灵活的逼近族，包括所有可能的有限混合一个参数基础分布（例如高斯）。

Nov, 2016

本文研究了基于 boosting 的变分推断算法在优化视角下的收敛性质及其与经典 Frank-Wolfe 算法之间的联系，提出了收敛的充分条件，明确了算法的收敛速率和简化方法，并在概率模型和理论特性之间架起了桥梁。

Aug, 2017

本文综述了变分推断中的最新趋势，介绍了标准的均值场变分推断，然后回顾了最近的进展，包括可扩展的 VI，通用的 VI，准确的 VI 以及摊余的 VI，并提供有关未来研究方向的总结。

Nov, 2017

提出了一种基于优化的贝叶斯推论的新颖泛化方法，称为三原则规则，并通过GVI（广义变分推论）的探索得出应用，包括提高了贝叶斯神经网络和深高斯过程的预测性能和适当的边际。

Apr, 2019

本论文提出了一种基于Wasserstein空间梯度流、Fokker-Planck方程和扩散过程的分析mean field variational inference (MFVI)算法的框架，旨在解决MFVI算法中的收敛问题。研究表明，此框架可以保证多种解决变分推断问题的算法的收敛性。

Oct, 2022

本研究介绍了一种称为“确定性ADVI”的方法来解决MFVB的问题，并使用蒙特卡罗近似方法去优化其目标，相较于标准的MFVB，确定性ADVI能更准确地预测后验线性响应协方差，并在现实问题中表现更加可靠并具有更快的速度和更高的准确性。

Apr, 2023

本文提供了第一篇关于全黑箱变分推断的收敛性保证，特别是蒙特卡罗变分推断。作者通过与传统算法相比的分析，证明了使用鲁棒的变分族文件和负责的算法设计，特别是使用近端随机梯度下降，可以实现最强的已知收敛速率保证。

May, 2023

我们提出了一种新的变分推断方法 $\Xi$-变分推断 ($\Xi$-VI)，通过熵正则化扩展了朴素均值场。$\Xi$-VI与熵最优输运问题密切相关，并从计算高效的Sinkhorn算法中受益。我们展示了$\Xi$-变分后验能够有效恢复真实的后验依赖关系，其中依赖关系由正则化参数进行加权。我们分析了参数空间维度对 $\Xi$-变分近似精度的影响以及它对计算的影响，从而粗略刻画了$\Xi$-VI中的统计计算权衡。我们还研究了$\Xi$-VI的经验性质，并建立了关于一致性、渐近正态性、高维渐近性和算法稳定性的结果。我们提供了使用该方法实现多项式时间近似推断的充分条件。最后，我们在模拟和真实数据上展示了 $\Xi$-VI 相对于均值场变分推断的实际优势。

Apr, 2024