针对黑盒变分推理的随机优化的挑战，该论文提出了一种基于重参数化的梯度估计方法来保证其收敛性，并给出了针对密集高斯变分族收敛的新的收敛保证和独特噪声边界.

Jun, 2023

在完美变分族规范下，证明了带有控制变量的黑盒变分推断（BBVI），特别是附着着陆（STL）估计器，在几何（传统称为 “线性”）速率下收敛。我们证明了 STL 估计器的梯度方差的二次界限，由此可以直接推出使用投影随机梯度下降的 BBVI 的收敛性。我们还改进了现有的关于常规闭式熵梯度估计器的分析，从而使其可以与 STL 估计器进行比较，并为两者提供明确的非渐近复杂性保证。

Jul, 2023

介绍了一种类似于前向 - 后向算法的 BBVI 算法，它可以使得我们高效地从变分分布中进行采样，并且可以估计 ELBO 梯度。在动态词嵌入模型上的结果证明了我们方法的有效性。

Jul, 2017

本文介绍了一种基于蒙特卡洛采样的随机优化算法，可用于快速逼近复杂潜在变量模型的后验概率分布，避免了繁琐的模型推导过程，同时探索了多种长期医疗数据模型。

Dec, 2013

基于分数的采样方法与最大似然法相结合，可以有效优化高方差问题，并证明当目标分布为高斯分布时，收敛迅速且性能优于传统基于 ELBO 最大化的黑盒变分推断方法。

Feb, 2024

本研究论文讨论了黑盒变分推断通过梯度优化较简单分布的参数来逼近复杂目标分布。研究发现，在采用位置 - 比例族逼近的情况下，如果目标是 M-Lipschitz 平滑的，则目标函数也是 M-Lipschitz 平滑的，当然熵要被排除在外。这个结论揭示了如何对分布参数化的思路，给出了最佳参数位置的界并且是收敛保证的关键因素。

Jan, 2019

提出了一种新的算法 Boosting Variational Inference（BVI），它基于渐进的计算，能够捕捉多模态、一般后验协方差和非标准后面形状，并且使用一个更灵活的逼近族，包括所有可能的有限混合一个参数基础分布（例如高斯）。

Nov, 2016

本文针对黑盒变分推断方法提出了基于广义差异度量的偏置重要性采样方法，并通过变分扰动理论构建了一族新的变分上界，对多个模型进行实验得出新的变分上界在数据拟合上更优

Sep, 2017

本文提出了一种改进算法，基于强化版 Variational Inference 方法，用于更有效地近似概率密度，以此实现贝叶斯统计中重要的求解任务，提出的改进方法叫做 Boosting VI。通过对算法的理论分析，证明了算法的收敛性和可行性，并且经过实验验证，该算法在实际应用中能够取得不错的效果。

Jun, 2018

本文通过研究在目标平滑、变分族为位置 - 尺度分布情况下的重参数估计器，为基于随机梯度估计器的最新变分推断方法提供了不可改善的界限。

Jun, 2019