本文介绍了变分Renyi界限(VR)，它将传统的变分推理扩展到了Renyi的Alpha-散度。这种新型的变分方法统一了许多现有方法，并且通过参数化散度的Alpha值，实现了从证据下限到对数（边际）似然的平滑插值。采用重参数化技巧、蒙特卡罗近似和随机优化方法，获得了一个可行和统一的优化框架。我们进一步考虑了负Alpha值，并在所提出的框架的一个新的特殊情况下提出了一种新的变分推理方法。在贝叶斯神经网络和变分自编码器上的实验证明了VR界限的广泛适用性。

Feb, 2016

本文介绍了一种对变分推断的鲁棒修正方法，此方法适用于大多数训练集样本为随机噪声对象的情况，并在MNIST和OMNIGLOT合成数据集上展示了比证据下限更出色的目标。在原始的MNIST和OMNIGLOT数据集上，我们还观察到相对于非鲁棒证据的下限的小幅提高。

Nov, 2016

本文综述了现有算法之间的联系，包括广泛使用的变分自编码器、以对抗方式学习的推断、运算符变分推断、基于生成式对抗网络的图像重建等，提出了新的算法框架，并基于密度比估计或去噪等方法展示了实际的推断算法。

Feb, 2017

使用半隐式变分推断方法(SIVI)扩展了通常使用的解析变分分布族, 可以将变分参数与灵活的分布混合. 这种混合分布可以采用任何密度函数来生成独立的随机样本, 并且在推理贝叶斯模型的后验概率方面与MCMC方法的精度相当.

May, 2018

提出了一种名为DSIVI的新型半隐变分推断方法，可以在先验分布和后验分布均为半隐式分布的模型中工作，其优化的ELBO下界是渐进精确的，在某些对隐式分布有利的问题中超过了现有方法的性能。

Oct, 2018

SIVI-SM是基于分数匹配的新的SIVI方法，通过利用半隐变分族的分层结构，允许使用少噪声分数匹配处理难以处理的变分密度，SIVI-SM在各种贝叶斯推理任务中准确性与MCMC相当，并且优于基于ELBO的SIVI方法。

Aug, 2023

我们提出了使用神经采样器来近似复杂多模态和相关后验分布的隐式分布的方法，并介绍了一种新的采样器架构，允许以百万个潜变量为基础的隐式分布，通过可微的数值逼近解决计算问题。我们的实证分析表明，我们的方法能够恢复大型贝叶斯神经网络中层间的相关性，这对网络的性能非常关键，但是一直以来都非常难实现。通过下游任务的实验，我们证明了我们的表达性后验优于最先进的不确定性量化方法，验证了我们的训练算法的有效性和学习出的隐式逼近的质量。

Oct, 2023

本研究提出了一种层级半隐式变分推断方法（HSIVI），通过引入辅助分布，允许更具表达力的多层半隐式分布构建，大大提升了对复杂目标分布的建模能力，同时可用于加速扩散模型的采样过程。

Oct, 2023

核SIVI（KSIVI）是SIVI-SM的变体，通过核技巧消除了对底层优化的需求，其上层目标是可计算的核Stein距离（KSD），从而实现了KSIVI的新收敛保证。我们在合成分布和各种真实数据贝叶斯推断任务中展示了KSIVI的有效性和效率。

May, 2024

该研究提出了一种名为粒子变分推理（PVI）的新方法，通过粒子近似欧氏 - 瓦塞尔斯坦梯度流，利用经验度量来近似描述最优混合分布，并直接优化证据下界（ELBO），无需对混合分布做参数化假设。实证结果表明，PVI在各种任务中表现出色，并对相关的自由能函数的梯度流行为进行了理论分析，证明了解的存在性和唯一性以及混乱传播结果。

Jun, 2024