黑盒变分推断的可证明梯度方差保证
提出了一种基于随机梯度方法的变分推断新方法，不仅利用变分参数空间的几何性质，而且即使对于非共轭模型也可以产生简单的闭合式更新，该方法也具有收敛速率分析，即使用于非凸目标的随机镜像下降。在多种问题上，实验证明新算法在该框架中导出可以导致最先进的结果。
Oct, 2015
我们提出了一种简单且通用的标准重参数化梯度估计变体，以用于变分证据下限。通过删除与评估参数有关的分数函数的导数，我们将产生一个无偏梯度估计器，其方差随着近似后验接近精确后验逐渐逼近零。我们从理论和实证方面分析了这种梯度估计器的行为，并将其推广到更复杂的变分分布中，例如混合分布和重要性加权后验。
Mar, 2017
提出了一种新的针对非可微密度模型的随机变分推断算法，通过对可微区域应用标准的重新参数化技巧、对边界区域应用流形采样，估计并得出梯度的高效率降低了方差并保持偏差的不变。
Jun, 2018
本文探讨变分推断问题中使用重新参数化技巧的效果，通过理论分析和实验展示了其优越性，重点在于阐述它相比于其他方法更准确地估计了 variational objective 的梯度。
Sep, 2018
本研究论文讨论了黑盒变分推断通过梯度优化较简单分布的参数来逼近复杂目标分布。研究发现，在采用位置-比例族逼近的情况下，如果目标是M-Lipschitz平滑的，则目标函数也是M-Lipschitz平滑的，当然熵要被排除在外。这个结论揭示了如何对分布参数化的思路，给出了最佳参数位置的界并且是收敛保证的关键因素。
Jan, 2019
本文提供了第一篇关于全黑箱变分推断的收敛性保证，特别是蒙特卡罗变分推断。作者通过与传统算法相比的分析，证明了使用鲁棒的变分族文件和负责的算法设计，特别是使用近端随机梯度下降，可以实现最强的已知收敛速率保证。
May, 2023
在完美变分族规范下，证明了带有控制变量的黑盒变分推断（BBVI），特别是附着着陆（STL）估计器，在几何（传统称为“线性”）速率下收敛。我们证明了STL估计器的梯度方差的二次界限，由此可以直接推出使用投影随机梯度下降的BBVI的收敛性。我们还改进了现有的关于常规闭式熵梯度估计器的分析，从而使其可以与STL估计器进行比较，并为两者提供明确的非渐近复杂性保证。
Jul, 2023
黑盒变分推断是在使变分推断更“黑盒”的最近努力中的一个有前途的框架，但在基本版本中，它要么由于不稳定性而无法收敛，要么在执行前需要调整更新步骤，这使得它不完全通用。我们提出了一种通过将随机梯度上升重新定位为多元估计问题来规范其参数更新的方法。所提出的方法在方差减小方面相对较弱，但提供了更简单的代替和不需要分析师进行微调的权衡。基准数据集上的性能还表明，在模型拟合和收敛时间方面，与Rao-Blackwell化方法相比具有一致的表现或更好。
May, 2024