我们提出了一种快速的非迭代近似推理方法，通过前馈网络实现从变分后验进行有效精确抽样，该方法通过应用几种直观的模型独立方差减少技术，优于 MNIST 和 Reuters RCV1 文件数据集上的唤醒 - 睡眠算法，并取得了最新成果。

Jan, 2014

通过使用多样本重要性采样和无偏梯度估计器优化变分下界，从而提高潜变量模型的训练效果。

Feb, 2016

本研究提出了一种新方法，使得基于接受拒绝采样算法的随机变量也可以使用再参数化技巧，这种方法可以扩展再参数化技巧的适用范围，且实验表明该方法可以获得比其他现有技术更低的梯度估计方差，从而实现更快的随机梯度变分推断收敛。

Oct, 2016

传统的变分推理方法依赖于变分分布的参数族，而变分分布的选择对后验概率近似的准确性起着关键作用。本文提出了一种基于 Variational Rejection Sampling (VRS) 的新策略，通过引入低方差的重新参数化梯度估计器，将 VRS 变为一个适用于具有连续潜在变量的模型的引人注目的推理策略。理论上的论证和实证实验表明，得到的方法 - Reparameterized Variational Rejection Sampling (RVRS) 在计算成本和推理准确性之间提供了一个吸引人的折衷方案，特别适用于具有局部潜在变量的黑盒推理。

Sep, 2023

本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。

Dec, 2013

本文研究了使用梯度的 log posterior 方法来控制梯度估计方差的问题，并应用到伽马分布潜在变量中，以实现稀疏性和非负性适用的模型的黑盒变分推断。该方法在网络数据的伽马过程模型和一种新型的稀疏因子分析中的应用效果均优于传统采样算法和对变换后变量使用高斯变分分布的方法。

Sep, 2015

我们提出了一种简单的算法，用于训练随机神经网络从给定的目标分布中绘制样本，以进行概率推断。我们的方法基于按照 Stein 变分梯度方向（Liu & Wang，2016）调整神经网络参数，从而最大程度地减少与目标分布的 KL 散度。这种方法适用于任何由其未归一化密度函数指定的目标分布，并且可以训练任何可微分的参数结构。我们用许多应用程序演示了我们的方法，包括具有表现力编码器的可变分自编码器（VAE）以建模复杂的潜在空间结构，以及 MCMC 采样器的超参数学习，这允许贝叶斯推断在看到更多数据时自适应地改善。

Jul, 2017

本工作提出一种更有效的变分推断算法，该算法采用重要性抽样估计梯度，通过评估近似参数的梯度而无需重新计算模型梯度来加速计算。引入重要性采样的随机梯度下降在一系列模型中优于标准随机梯度下降，同时提供了一种可证明的随机平均梯度变体，可用于变分推断。

Apr, 2017

本研究开发了基于随机变分推断的可伸缩算法，用于逼近后验概率分布，并且针对一类大规模的概率模型进行了技术开发；对两个概率主题模型进行了演示并应用于大量文献数据的分析，其中包括自然杂志、《纽约时报》和维基百科，结果表明随机变分推断可轻松处理大型数据集并优于传统变分推断，并且表明贝叶斯非参数主题模型优于参数主题模型；因此基于随机变分推断的算法可以将复杂的贝叶斯模型应用于大规模的数据集。

Jun, 2012

文章展示了如何通过松弛均场独立近似来减少对局部最优解和超参数的敏感性，使得全局参数和局部隐藏变量之间的任意依赖关系得以被考虑，从而提高参数估计的精度。

Apr, 2014