本文介绍如何将随机梯度下降算法与调整参数应用于概率建模中的近似后验推断，通过最小化数据生成分布与目标后验分布之间的KL散度作为理论框架，让SGD有效地作为贝叶斯推断的一种方法，发现其可以成为概率模型优化超参数的一种新途径。

Feb, 2016

本文针对大数据分析，提出了一种基于Wasserstein梯度流的粒子优化框架，用于统一随机梯度MCMC和Stein变分梯度下降算法，并能够更有效地解决概率测度空间上的挑战。实验结果表明，该框架能够提高贝叶斯抽样的效率和可伸缩性。

May, 2018

该论文探讨了基于粒子最优化的采样技术和 Stein 变分梯度下降算法的理论缺陷，提出了注入随机噪声的 SPOS 算法，并第一次为相关的 SPOS 框架（涉及 SVGD）开发了非渐近收敛理论，以粒子数和迭代次数的 1-Wasserstein 距离为特征，表征算法的收敛性。实验证明，与 SVGD 相同数量的更新次数（不太大）对于每个粒子，采用更多的粒子并不一定会更好地逼近目标分布，这种现象也被观察到并在合成数据实验中得到了验证。

Sep, 2018

本文提出一种基于Stein算子的非参数推断方法，将Stein变分梯度下降（SVGD）用于解决推断问题，挖掘出一类函数，即Stein匹配集合，从而提供了更好的内核选择方法，并可以将问题转化为拟合Stein等式或求解Stein方程。

Oct, 2018

本文提出了一种新颖的基于矩阵的 Stein 变分梯度下降算法，通过利用 Hessian 矩阵和 Fisher 信息矩阵等预处理矩阵来加速粒子的探索，从而实现了更加高效的近似推断，并在实验中证明其性能优于其他基线方法。

Oct, 2019

本文提出了一种基于神经网络的参数化证见函数的改进 Stein 变分梯度下降方法，旨在解决传统 Stein 变分梯度下降中选择核函数的难题，经实验证明该方法在合成推理问题、贝叶斯线性回归和贝叶斯神经网络推理问题中有效可行。

Jul, 2021

本研究提出了一种名为Grassmann Stein变分梯度下降 (GSVGD) 的新概念，用于处理维度高的目标分布问题，具备在高维空间中探索低维结构等特性。GSVGD方法与其他变体方法相比，更新打分函数和数据的投影器并通过一种耦合的Grassmann值扩散进程确定最优投影器。理论和实验结果表明，GSVGD在高维问题中具有高效的状态空间探索能力。

Feb, 2022

通过使用正态分布初始化器逼近高斯目标样本并使用密度和基于粒子的实现方法，证明了Stein Variational Gradient Descent (SVGD) 及其变体的特性，包括线性收敛和性能优越性，这对于深入理解SVGD和Gaussian variational inference (GVI)的相关性提供了具体贡献。

May, 2023

本文中提出了一种深度展开的可训练 SVGD 算法，用于加速其收敛速度，并通过数值模拟实验证明了该算法相较于传统的 SVGD 变体具有更快的收敛速度。

Feb, 2024

本研究针对现有斯坦因变分梯度下降方法在无梯度信息情况下的局限性，提出了一种将演化策略与斯坦因变分步骤相结合的新方法。这种方法能够在没有梯度信息的情况下，从未规范化的目标密度中生成高质量样本，并在多个具有挑战性的基准问题中表现出显著的性能提升。

Oct, 2024