本文提出了用于优化的通用变分推理算法，它是梯度下降法的一种自然补充，可以通过一种函数梯度下降来最小化KL距离，从而迭代地传输一组粒子以匹配目标分布。经过在各种真实世界模型和数据集上的实证研究，我们的方法与现有的最先进的方法相竞争。我们方法的推导基于一个新的理论结果，它连接了平滑转换下KL距离的导数与Stein's恒等式以及最近提出的核化的Stein距离，这也具有独立的兴趣。

Aug, 2016

本文提出了随机梯度线性化变分推断，并通过三个应用案例展示了在收敛速度和KL散度方面相对于传统梯度方法的明显优势。

Mar, 2018

本文提出了一种新颖的基于矩阵的 Stein 变分梯度下降算法，通过利用 Hessian 矩阵和 Fisher 信息矩阵等预处理矩阵来加速粒子的探索，从而实现了更加高效的近似推断，并在实验中证明其性能优于其他基线方法。

Oct, 2019

本文研究贝叶斯推断问题，特别关注于最近引入的斯坦变分梯度下降方法，介绍了该方法的交互粒子系统构建；并通过研究选择合适的正定核函数的问题，提出采用调整尾部的某些不可微核函数，证明在各种数值实验中这种方法具有明显的性能提升。

Dec, 2019

本研究提出了一种名为Grassmann Stein变分梯度下降 (GSVGD) 的新概念，用于处理维度高的目标分布问题，具备在高维空间中探索低维结构等特性。GSVGD方法与其他变体方法相比，更新打分函数和数据的投影器并通过一种耦合的Grassmann值扩散进程确定最优投影器。理论和实验结果表明，GSVGD在高维问题中具有高效的状态空间探索能力。

Feb, 2022

本文提出了两种计算有效（VP-SVGD和GB-SVGD）的Stein变分梯度下降算法，它们是特定的随机批处理逼近SVG，具有证明的快速有限粒子收敛率。

May, 2023

该论文介绍了一种称为广义Wasserstein梯度下降（GWG）的粒子变分推断方法框架，基于KL散度的广义Wasserstein梯度流，可视为具有更广泛正则化器类的函数梯度方法，展示了GWG具有强大的收敛性保证，通过实验证明了该框架在模拟和真实数据问题上的有效性和高效性。

Oct, 2023

本文介绍了变分推断和Wasserstein梯度流之间的联系，通过将Bures-Wasserstein梯度流转化为欧几里德梯度流，并使用路径导数梯度估计器生成梯度场，同时提供了一种新的梯度估计方法适用于$f$-divergences的拓展。

Oct, 2023

该研究提出了一种名为粒子变分推理（PVI）的新方法，通过粒子近似欧氏 - 瓦塞尔斯坦梯度流，利用经验度量来近似描述最优混合分布，并直接优化证据下界（ELBO），无需对混合分布做参数化假设。实证结果表明，PVI在各种任务中表现出色，并对相关的自由能函数的梯度流行为进行了理论分析，证明了解的存在性和唯一性以及混乱传播结果。

Jun, 2024

本研究解决了在约束域中进行采样的难题，提出了一种新的功能梯度变分推断方法，称为约束功能梯度流（CFG），并为其引入了梯度流的边界条件。通过理论分析和实验验证，展示了该方法在总变差下具有可证明的连续时间收敛性，提供了一种有效的处理约束域采样的框架。

Oct, 2024