本工作提出一种更有效的变分推断算法，该算法采用重要性抽样估计梯度，通过评估近似参数的梯度而无需重新计算模型梯度来加速计算。引入重要性采样的随机梯度下降在一系列模型中优于标准随机梯度下降，同时提供了一种可证明的随机平均梯度变体，可用于变分推断。

Apr, 2017

本文提出了一种采用拒绝抽样方法来舍弃具有低似然的变分后验采样的方法，并使用一种新的梯度估计器，以 MNIST 数据集为例，在估计边际对数似然时，相对于现有的基于单样本和多样本的方法，可以平均提高 3.71 个 nats 和 0.21 个 nats 的准确性。

Apr, 2018

通过最小化前向 χ^2 散度来优化建议分布以增强对数似然估计，我们引入了一种称为变分重要性抽样（VIS）的新方法，实现了直接估计和最大化对数似然。将 VIS 应用于各种流行的潜变量模型，包括混合模型、变分自编码器和部分可观测广义线性模型，结果显示我们的方法在对数似然和模型参数估计方面始终优于最先进的基准模型。

Nov, 2023

本研究提出了一种新的方法，称为嵌套变分推断，用于学习嵌套重要性取样器中的建议，该方法通过在每个嵌套级别上最小化正向或反向 KL 散度。该方法适用于许多常用的重要性取样策略，并提供了一种学习中间密度的机制，该中间密度可以作为启发式来引导取样器。我们的实验将 NVI 应用于（a）使用学习的退火路径从多峰分布中采样（b）学习近似于隐藏马尔可夫模型中未来观测值的启发式以及（c）在分层深度生成模型中执行分摊推理。我们观察到，优化嵌套目标可以提高采样质量，表现为对数平均权重和有效样本大小。

Jun, 2021

本文介绍了过度离散的黑匣子变分推理方法，该方法采用重要抽样从与变分估计相同指数族中的超离散分布中取样，以减少黑匣子变分推理中梯度的 Monte Carlo 估计的方差。我们在两个非共轭概率模型上运行实验，证明了我们的方法有效地降低了方差，并且计算提议参数和重要权重引入的开销是可以忽略的。我们发现，我们的过度离散重要抽样方案提供比黑匣子变分推理更低的方差，即使后者使用了两倍的样本数。这导致黑匣子推理过程的更快收敛。

Mar, 2016

引入层次结构的关联采样方案可以减少重复样本，从而减小重要性估计方差并提高推理性能。

May, 2019

本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。

Dec, 2013

我们提出了一种可以与其他变分参数一起学习的代理似然函数，以此支持两种算法类别优势的组合，此算法允许用户在推理保真度和计算成本之间进行直观权衡，适用于概率编程框架中黑盒子推理。

Dec, 2021

本文提出了基于 Quasi-Monte Carlo 采样的方差减少方法，有效地提高了 Monte Carlo gradient estimator 的 MCVI 性能，并通过实验验证了该方法。

Jul, 2018

本文介绍了一种对变分推断的鲁棒修正方法，此方法适用于大多数训练集样本为随机噪声对象的情况，并在 MNIST 和 OMNIGLOT 合成数据集上展示了比证据下限更出色的目标。在原始的 MNIST 和 OMNIGLOT 数据集上，我们还观察到相对于非鲁棒证据的下限的小幅提高。

Nov, 2016