通过应用随机变分推断方法，提出一种结构化高斯近似后验，用于近似后验更普遍、非线性的潜变量生成模型，且相较于特定非共轭模型的定制化变分方法具有更好的表现；该方法旨在用于潜在动态结构模型的黑盒近似推断。

Nov, 2015

介绍了一种类似于前向 - 后向算法的 BBVI 算法，它可以使得我们高效地从变分分布中进行采样，并且可以估计 ELBO 梯度。在动态词嵌入模型上的结果证明了我们方法的有效性。

Jul, 2017

通过引入分层变分模型来规范表达力强的变分分布，以提高黑盒变分推断的计算效率和可扩展性，并通过在深度定性潜变量模型中进行了研究来实现更高的后验品质。

Nov, 2015

本文提供了第一篇关于全黑箱变分推断的收敛性保证，特别是蒙特卡罗变分推断。作者通过与传统算法相比的分析，证明了使用鲁棒的变分族文件和负责的算法设计，特别是使用近端随机梯度下降，可以实现最强的已知收敛速率保证。

May, 2023

针对黑盒变分推理的随机优化的挑战，该论文提出了一种基于重参数化的梯度估计方法来保证其收敛性，并给出了针对密集高斯变分族收敛的新的收敛保证和独特噪声边界.

Jun, 2023

本文介绍了过度离散的黑匣子变分推理方法，该方法采用重要抽样从与变分估计相同指数族中的超离散分布中取样，以减少黑匣子变分推理中梯度的 Monte Carlo 估计的方差。我们在两个非共轭概率模型上运行实验，证明了我们的方法有效地降低了方差，并且计算提议参数和重要权重引入的开销是可以忽略的。我们发现，我们的过度离散重要抽样方案提供比黑匣子变分推理更低的方差，即使后者使用了两倍的样本数。这导致黑匣子推理过程的更快收敛。

Mar, 2016

本文提出了一种改进算法，基于强化版 Variational Inference 方法，用于更有效地近似概率密度，以此实现贝叶斯统计中重要的求解任务，提出的改进方法叫做 Boosting VI。通过对算法的理论分析，证明了算法的收敛性和可行性，并且经过实验验证，该算法在实际应用中能够取得不错的效果。

Jun, 2018

本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。

Dec, 2013

本文综述了变分推断中的最新趋势，介绍了标准的均值场变分推断，然后回顾了最近的进展，包括可扩展的 VI，通用的 VI，准确的 VI 以及摊余的 VI，并提供有关未来研究方向的总结。

Nov, 2017

黑盒变分推断是在使变分推断更 “黑盒” 的最近努力中的一个有前途的框架，但在基本版本中，它要么由于不稳定性而无法收敛，要么在执行前需要调整更新步骤，这使得它不完全通用。我们提出了一种通过将随机梯度上升重新定位为多元估计问题来规范其参数更新的方法。所提出的方法在方差减小方面相对较弱，但提供了更简单的代替和不需要分析师进行微调的权衡。基准数据集上的性能还表明，在模型拟合和收敛时间方面，与 Rao-Blackwell 化方法相比具有一致的表现或更好。

May, 2024