针对黑盒变分推理的随机优化的挑战，该论文提出了一种基于重参数化的梯度估计方法来保证其收敛性，并给出了针对密集高斯变分族收敛的新的收敛保证和独特噪声边界.

Jun, 2023

本研究论文讨论了黑盒变分推断通过梯度优化较简单分布的参数来逼近复杂目标分布。研究发现，在采用位置 - 比例族逼近的情况下，如果目标是 M-Lipschitz 平滑的，则目标函数也是 M-Lipschitz 平滑的，当然熵要被排除在外。这个结论揭示了如何对分布参数化的思路，给出了最佳参数位置的界并且是收敛保证的关键因素。

Jan, 2019

本文提供了第一篇关于全黑箱变分推断的收敛性保证，特别是蒙特卡罗变分推断。作者通过与传统算法相比的分析，证明了使用鲁棒的变分族文件和负责的算法设计，特别是使用近端随机梯度下降，可以实现最强的已知收敛速率保证。

May, 2023

本文介绍了一种基于蒙特卡洛采样的随机优化算法，可用于快速逼近复杂潜在变量模型的后验概率分布，避免了繁琐的模型推导过程，同时探索了多种长期医疗数据模型。

Dec, 2013

提出了一种新的针对非可微密度模型的随机变分推断算法，通过对可微区域应用标准的重新参数化技巧、对边界区域应用流形采样，估计并得出梯度的高效率降低了方差并保持偏差的不变。

Jun, 2018

本文研究了使用梯度的 log posterior 方法来控制梯度估计方差的问题，并应用到伽马分布潜在变量中，以实现稀疏性和非负性适用的模型的黑盒变分推断。该方法在网络数据的伽马过程模型和一种新型的稀疏因子分析中的应用效果均优于传统采样算法和对变换后变量使用高斯变分分布的方法。

Sep, 2015

本文研究了使用变分贝叶斯方法进行参数估计的合理性问题，并提供了获得基于点估计的最优风险界的一般条件。这些条件涉及参数空间上距离度量的某些测试函数的存在以及对先验的最小假设。本文概述了验证这些条件的一般步骤，这对具有或没有潜变量的现有贝叶斯模型广泛适用。同时，具体应用于潜在狄利克雷分配和高斯混合模型的过程也作了讨论。

Dec, 2017

本文研究了针对 Wasserstein 距离的多种变量减少方法（包括 SAGA Langevin 扩散、SVRG Langevin 扩散和控制变量欠阻尼 Langevin 扩散）的收敛性保证，同时对后验分布进行了一致的假设：光滑、强凸和 Hessian Lipschitz。通过一种新的证明技术，结合了有限和最优化与抽样方法分析的思想，我们得到了尖锐的理论上界，可以确定每种方法比其他方法更好的兴趣范围，并通过对真实世界和合成数据集的实验验证了我们的理论。

Feb, 2018

黑盒变分推断是在使变分推断更 “黑盒” 的最近努力中的一个有前途的框架，但在基本版本中，它要么由于不稳定性而无法收敛，要么在执行前需要调整更新步骤，这使得它不完全通用。我们提出了一种通过将随机梯度上升重新定位为多元估计问题来规范其参数更新的方法。所提出的方法在方差减小方面相对较弱，但提供了更简单的代替和不需要分析师进行微调的权衡。基准数据集上的性能还表明，在模型拟合和收敛时间方面，与 Rao-Blackwell 化方法相比具有一致的表现或更好。

May, 2024

本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。

Dec, 2013