本文提出了用于优化的通用变分推理算法，它是梯度下降法的一种自然补充，可以通过一种函数梯度下降来最小化KL距离，从而迭代地传输一组粒子以匹配目标分布。经过在各种真实世界模型和数据集上的实证研究，我们的方法与现有的最先进的方法相竞争。我们方法的推导基于一个新的理论结果，它连接了平滑转换下KL距离的导数与Stein's恒等式以及最近提出的核化的Stein距离，这也具有独立的兴趣。

Aug, 2016

本研究提出 Stein 变分梯度下降的变种分别采用代理梯度代替目标密度函数的真实梯度，并通过对梯度进行适当加权来纠正引入的偏差。同时，我们提出了一种基于模拟退火思想的 GF-SVGD，进一步提高了高维复杂分布的性能表现，并在经验研究中表明其性能优于一些最新的先进算法。

Jun, 2018

本文提出了一种改进的 Stein 变分梯度下降（SVGD）算法，采用函数空间的 Newton 迭代近似二阶信息以加速算法，同时还介绍了二阶信息在选择核函数时的更有效作用。在多个测试案例中，我们观察到与原始 SVGD 算法相比，有了显著的计算优势。

Jun, 2018

本文提出一种基于Stein算子的非参数推断方法，将Stein变分梯度下降（SVGD）用于解决推断问题，挖掘出一类函数，即Stein匹配集合，从而提供了更好的内核选择方法，并可以将问题转化为拟合Stein等式或求解Stein方程。

Oct, 2018

本文提出了一种新颖的基于矩阵的 Stein 变分梯度下降算法，通过利用 Hessian 矩阵和 Fisher 信息矩阵等预处理矩阵来加速粒子的探索，从而实现了更加高效的近似推断，并在实验中证明其性能优于其他基线方法。

Oct, 2019

该研究提出一种基于投影斯坦变分梯度下降（pSVGD）方法，通过利用参数投影的低维系数，克服了贝叶斯推断中维度灾难的长期挑战，并在参数维度范围从数百到数万个的实验中证明了其准确性和效率。

Feb, 2020

该研究以内核梯度流为基础，证明了黑盒变分推断与Stein变分梯度下降之间的等同性，并且探讨了内核与各种算法行为的关系。

Apr, 2020

本研究研究了使用不同的Stein变分梯度下降方法来解决深度神经网络的Bayesian框架的问题，通过改善功能多样性和不确定性估计，逼近真实的Bayesian后验，并展示使用随机SVGD更新可以进一步改善性能。

Jun, 2021

本文中提出了一种深度展开的可训练 SVGD 算法，用于加速其收敛速度，并通过数值模拟实验证明了该算法相较于传统的 SVGD 变体具有更快的收敛速度。

Feb, 2024

本文解决了Stein变分梯度下降(SVGD)中存在的方差崩溃问题，这一问题导致在小型贝叶斯神经网络(BNNs)中预测不佳。我们提出了一种新的方法Stein混合推断(SMI)，通过让每个粒子参数化混合模型中的组件分布，并优化证据的下界(ELBO)，显著提高了不确定性估计的准确性，尤其是在数据维度高且稀疏的情况下。

Oct, 2024