本文提出了用于优化的通用变分推理算法，它是梯度下降法的一种自然补充，可以通过一种函数梯度下降来最小化KL距离，从而迭代地传输一组粒子以匹配目标分布。经过在各种真实世界模型和数据集上的实证研究，我们的方法与现有的最先进的方法相竞争。我们方法的推导基于一个新的理论结果，它连接了平滑转换下KL距离的导数与Stein's恒等式以及最近提出的核化的Stein距离，这也具有独立的兴趣。

Aug, 2016

本研究提出 Stein 变分梯度下降的变种分别采用代理梯度代替目标密度函数的真实梯度，并通过对梯度进行适当加权来纠正引入的偏差。同时，我们提出了一种基于模拟退火思想的 GF-SVGD，进一步提高了高维复杂分布的性能表现，并在经验研究中表明其性能优于一些最新的先进算法。

Jun, 2018

本文提出了一种改进的 Stein 变分梯度下降（SVGD）算法，采用函数空间的 Newton 迭代近似二阶信息以加速算法，同时还介绍了二阶信息在选择核函数时的更有效作用。在多个测试案例中，我们观察到与原始 SVGD 算法相比，有了显著的计算优势。

Jun, 2018

本文提出一种基于Stein算子的非参数推断方法，将Stein变分梯度下降（SVGD）用于解决推断问题，挖掘出一类函数，即Stein匹配集合，从而提供了更好的内核选择方法，并可以将问题转化为拟合Stein等式或求解Stein方程。

Oct, 2018

本文研究贝叶斯推断问题，特别关注于最近引入的斯坦变分梯度下降方法，介绍了该方法的交互粒子系统构建；并通过研究选择合适的正定核函数的问题，提出采用调整尾部的某些不可微核函数，证明在各种数值实验中这种方法具有明显的性能提升。

Dec, 2019

本论文介绍了 Stein Variational Gradient Descent (SVGD) 算法的一种新视角，将 SVGD 视为卡方散度的（核化）梯度流，提出了一种基于目标密度关联的拉普拉斯算子的谱分解实现的替代方法，称为 Laplacian Adjusted Wasserstein Gradient Descent (LAWGD)，这种方法表现出强大的收敛保证和良好的实际性能。

Jun, 2020

通过使用正态分布初始化器逼近高斯目标样本并使用密度和基于粒子的实现方法，证明了Stein Variational Gradient Descent (SVGD) 及其变体的特性，包括线性收敛和性能优越性，这对于深入理解SVGD和Gaussian variational inference (GVI)的相关性提供了具体贡献。

May, 2023

Stein变分梯度下降(SVGD)是一种广泛应用于机器学习领域的采样算法, 通过迭代地移动一组相互作用的粒子(代表样本)来逼近目标分布,我们研究了噪声SVGD的长期渐进行为,并证明其极限集是良定义的,且该极限集随着粒子数目的增加逼近目标分布,特别是噪声SVGD可避免SVGD中观察到的方差崩溃现象,我们的方法涉及证明噪声SVGD的轨迹与McKean-Vlasov过程的轨迹密切相似。

Jun, 2024

本文针对斯坦变分梯度下降（SVGD）算法在核斯坦误差（KSD）和Wasserstein-2度量下的有限粒子收敛速率问题，提出了新的见解。研究表明，相对熵的时间导数可以分解为与N成正比的主要负部分及较小的正部分，从而获得收敛速率为$1/\sqrt{N}$，较之前研究显著提高。此外，该方法在维度上也有线性增长，从而进一步推动了Wasserstein-2的收敛性研究。

Sep, 2024

本研究针对现有斯坦因变分梯度下降方法在无梯度信息情况下的局限性，提出了一种将演化策略与斯坦因变分步骤相结合的新方法。这种方法能够在没有梯度信息的情况下，从未规范化的目标密度中生成高质量样本，并在多个具有挑战性的基准问题中表现出显著的性能提升。

Oct, 2024