本文提出了一种基于二阶方法的随机变分推断方法，通过求解变分目标函数的 Hessian 矩阵，选择了两种数值方案来实现这种方法，通过合成和真实数据的实证评估，证实了这种方法的有效性和效率。

Mar, 2022

本文介绍了一种改进的随机变分推断方法，其中使用移动平均方法构建代替自然梯度的向量，得到了更高的计算计算效率和更小的误差。测试表明该方法在大规模数据上表现良好。

Jun, 2014

本文提出了随机梯度线性化变分推断，并通过三个应用案例展示了在收敛速度和 KL 散度方面相对于传统梯度方法的明显优势。

Mar, 2018

本文提出一种新的自然梯度 VPNG，用于解决传统自然梯度在变分参数强烈相关的情况下不能修正相关性的问题，并在分类任务、图像生成模型和概率矩阵分解等方面进行了实证验证。

Mar, 2019

本文提出 CVI 算法，将共轭计算和随机梯度结合，应用于大量模型并证明其收敛性，与忽略模型共轭结构的方法相比，我们的算法收敛速度更快。

Mar, 2017

本文探讨了利用自然梯度方法在非共轭随机模型环境下的超参数学习，结果显示自然梯度方法可显著提高性能和效率并已被集成于 GPflow 软件包中。

Mar, 2018

本研究分析了随机变量缩减梯度（SVRG）方法在非凸有限和问题中的应用，证明了其比随机梯度下降（SGD）和梯度下降（GD）更快收敛于固定点，并分析了一类 SVRG 在解决非凸问题上的线性收敛，同时研究了 mini-batch 变体的 SVRG 在并行设置中加速的外延。

Mar, 2016

我们提出了一种基于变分贝叶斯的顺序贝叶斯推断新方法，该方法在在线设置中通过一步自然梯度下降从先验预测开始优化期望对数似然，证明了该方法在共轭模型下可以恢复准确的贝叶斯推断，并在非共轭设置中在计算成本可控情况下，实验上优于其他在线 VB 方法，如神经网络的在线学习。

May, 2024

针对黑盒变分推理的随机优化的挑战，该论文提出了一种基于重参数化的梯度估计方法来保证其收敛性，并给出了针对密集高斯变分族收敛的新的收敛保证和独特噪声边界.

Jun, 2023

提出了一种基于随机梯度方法的变分推断新方法，不仅利用变分参数空间的几何性质，而且即使对于非共轭模型也可以产生简单的闭合式更新，该方法也具有收敛速率分析，即使用于非凸目标的随机镜像下降。在多种问题上，实验证明新算法在该框架中导出可以导致最先进的结果。

Oct, 2015