本文介绍了变分Renyi界限(VR)，它将传统的变分推理扩展到了Renyi的Alpha-散度。这种新型的变分方法统一了许多现有方法，并且通过参数化散度的Alpha值，实现了从证据下限到对数（边际）似然的平滑插值。采用重参数化技巧、蒙特卡罗近似和随机优化方法，获得了一个可行和统一的优化框架。我们进一步考虑了负Alpha值，并在所提出的框架的一个新的特殊情况下提出了一种新的变分推理方法。在贝叶斯神经网络和变分自编码器上的实验证明了VR界限的广泛适用性。

Feb, 2016

通过使用多样本重要性采样和无偏梯度估计器优化变分下界，从而提高潜变量模型的训练效果。

Feb, 2016

我们提出了一种简单且通用的标准重参数化梯度估计变体，以用于变分证据下限。通过删除与评估参数有关的分数函数的导数，我们将产生一个无偏梯度估计器，其方差随着近似后验接近精确后验逐渐逼近零。我们从理论和实证方面分析了这种梯度估计器的行为，并将其推广到更复杂的变分分布中，例如混合分布和重要性加权后验。

Mar, 2017

本文提供理论和实证证据表明，使用更严格的证据下界（ELBO）可能会降低梯度估计器的信噪比，从而对学习推理网络产生不利影响，并介绍了三种新算法：偏重要性加权自动编码器（PIWAE），乘法重要性加权自动编码器（MIWAE）和组合重要性加权自动编码器（CIWAE）。同时，我们的结果表明，PIWAE可以同时改善推理和生成网络的训练。

Feb, 2018

本文研究使用重要性采样方法对概率变分推断的影响，并提出了“重要性加权变分推断（IWVI）”技术，它是“增广变分推断”的一种实例，能够改善低维准确性和高维收敛性，实验证实了其对概率推断的实用性。

Aug, 2018

本文提出了一种称为双参数梯度估计器的方法，用于 Deep latent variable models 中的训练，并证明了该方法的可行性和有效性。

Oct, 2018

引入层次结构的关联采样方案可以减少重复样本，从而减小重要性估计方差并提高推理性能。

May, 2019

本文提出了使用退火重要性采样(annealed importance sampling)来学习深度生成模型的方法，该方法是变分推断(variational inference)和马尔可夫链蒙特卡罗(Markov chain Monte Carlo)两种主要的近似方法的结合，通过实验表明该方法比重要性加权自编码器(importance weighted auto-encoders)更好地建模了概率密度，并且通过权衡计算和模型精度的关系提高模型准确性的同时不增加内存成本。

Jun, 2019

本论文引入了分层抽样的方法，实现了对混合分布的自动微分变分推断（ADVI）； 并且通过建立重要性加权自编码器（IWAE）类似的较紧下界，进一步验证了该方法相较于传统ELBO或IWAE的优势，特别是在latents变量中有多峰分布时，表现出更高的准确性和更好的校准性。

Mar, 2020

本文重访重要性加权变分推断理论，提供了一系列的数理统计理论证明，阐述了蒙特卡罗求解的样本数量与变分界限的紧度之间的关系，以及负相关性可以降低变分差距等内容，这有助于更好地研究拉普拉斯近似、新型均值场推断等领域。

Jan, 2022