均场变分推断（VI）是找到相对熵意义下到给定的高维概率测度 $\rho$ 最接近的分布（分解测度）的问题。本文证明了在对数凹密度 $\rho$ 情况下，均场变分推断 CAVI 的收敛性。若附加条件 $\log \rho$ 具有 Lipschitz 梯度，则收敛速度为线性，若 $\rho$ 也是强对数凹的，则收敛速度为指数级。我们的分析始于观察到当 $\rho$ 为对数凹时，均场 VI 在优化输运的意义下是凸的，从而使我们能够借鉴来自欧几里得空间上坐标下降算法的优化文献中的技术。

Apr, 2024

本论文提出了一种基于 Wasserstein 空间梯度流、Fokker-Planck 方程和扩散过程的分析 mean field variational inference (MFVI) 算法的框架，旨在解决 MFVI 算法中的收敛问题。研究表明，此框架可以保证多种解决变分推断问题的算法的收敛性。

Oct, 2022

通过 Markov chain Monte Carlo（MCMC）与 varational inference（VI）相结合，并引入 variational contrastive divergence（VCD）作为新的 divergence，可以更好的预测潜在变量模型。

May, 2019

本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代 VI 研究中的重要问题进行了全面的讨论。

Jan, 2016

本文综述了变分推断中的最新趋势，介绍了标准的均值场变分推断，然后回顾了最近的进展，包括可扩展的 VI，通用的 VI，准确的 VI 以及摊余的 VI，并提供有关未来研究方向的总结。

Nov, 2017

通过优化固定协方差和常值权重的高斯混合模型，将变分推断（Variational Inference）视为最小化平滑相对熵，研究其在非高斯情况下的理论性质，包括梯度下降和粒子系统优化。

Jun, 2024

提出了一种新的算法 Boosting Variational Inference（BVI），它基于渐进的计算，能够捕捉多模态、一般后验协方差和非标准后面形状，并且使用一个更灵活的逼近族，包括所有可能的有限混合一个参数基础分布（例如高斯）。

Nov, 2016

本文提供了第一篇关于全黑箱变分推断的收敛性保证，特别是蒙特卡罗变分推断。作者通过与传统算法相比的分析，证明了使用鲁棒的变分族文件和负责的算法设计，特别是使用近端随机梯度下降，可以实现最强的已知收敛速率保证。

May, 2023

Amortized variational inference (A-VI) is a general alternative to factorized (or mean-field) variational inference (F-VI) for approximating intractable posterior distributions, with conditions derived for achieving F-VI's optimal solution and strategies for expanding the domain of the inference function, while certain models like hidden Markov models and Gaussian processes cannot be matched by A-VI.

Jul, 2023

本文提出 CVI 算法，将共轭计算和随机梯度结合，应用于大量模型并证明其收敛性，与忽略模型共轭结构的方法相比，我们的算法收敛速度更快。

Mar, 2017