本文介绍了一种改进的随机变分推断方法，其中使用移动平均方法构建代替自然梯度的向量，得到了更高的计算计算效率和更小的误差。测试表明该方法在大规模数据上表现良好。

Jun, 2014

提出了一种新的算法Boosting Variational Inference（BVI），它基于渐进的计算，能够捕捉多模态、一般后验协方差和非标准后面形状，并且使用一个更灵活的逼近族，包括所有可能的有限混合一个参数基础分布（例如高斯）。

Nov, 2016

本文介绍了一种基于隐式概率模型的变分推理算法，称为 LFVI。我们介绍了一种称为HIEMS的隐式概率模型，这种模型将隐含密度与分层贝叶斯建模相结合，可以处理具有丰富隐藏结构的数据。通过与模型的灵活性匹配来构建隐含变分族，从而实现了后验的准确近似。我们展示了 LFVI 的多种应用：在生态学中用于生态中的捕食-被食模拟器，在离散数据的贝叶斯对抗生成网络中以及在文本生成中的一个隐式模型。

Feb, 2017

使用半隐式变分推断方法(SIVI)扩展了通常使用的解析变分分布族, 可以将变分参数与灵活的分布混合. 这种混合分布可以采用任何密度函数来生成独立的随机样本, 并且在推理贝叶斯模型的后验概率方面与MCMC方法的精度相当.

May, 2018

本文提出一种无偏隐式变分推断 (UIVI) 方法，通过定义具有表现力的变分族扩展变分推断的适用性，并直接优化证据下界 (ELBO)，通过简单可重参数化分布和任意灵活的深度神经网络，获得多项式逻辑回归和变分自编码器等多个模型的更紧 ELBO 和更好的预测性能。

Aug, 2018

提出了一种名为DSIVI的新型半隐变分推断方法，可以在先验分布和后验分布均为半隐式分布的模型中工作，其优化的ELBO下界是渐进精确的，在某些对隐式分布有利的问题中超过了现有方法的性能。

Oct, 2018

SIVI-SM是基于分数匹配的新的SIVI方法，通过利用半隐变分族的分层结构，允许使用少噪声分数匹配处理难以处理的变分密度，SIVI-SM在各种贝叶斯推理任务中准确性与MCMC相当，并且优于基于ELBO的SIVI方法。

Aug, 2023

我们提出了使用神经采样器来近似复杂多模态和相关后验分布的隐式分布的方法，并介绍了一种新的采样器架构，允许以百万个潜变量为基础的隐式分布，通过可微的数值逼近解决计算问题。我们的实证分析表明，我们的方法能够恢复大型贝叶斯神经网络中层间的相关性，这对网络的性能非常关键，但是一直以来都非常难实现。通过下游任务的实验，我们证明了我们的表达性后验优于最先进的不确定性量化方法，验证了我们的训练算法的有效性和学习出的隐式逼近的质量。

Oct, 2023

核SIVI（KSIVI）是SIVI-SM的变体，通过核技巧消除了对底层优化的需求，其上层目标是可计算的核Stein距离（KSD），从而实现了KSIVI的新收敛保证。我们在合成分布和各种真实数据贝叶斯推断任务中展示了KSIVI的有效性和效率。

May, 2024

该研究提出了一种名为粒子变分推理（PVI）的新方法，通过粒子近似欧氏 - 瓦塞尔斯坦梯度流，利用经验度量来近似描述最优混合分布，并直接优化证据下界（ELBO），无需对混合分布做参数化假设。实证结果表明，PVI在各种任务中表现出色，并对相关的自由能函数的梯度流行为进行了理论分析，证明了解的存在性和唯一性以及混乱传播结果。

Jun, 2024