本文提出了用于优化的通用变分推理算法，它是梯度下降法的一种自然补充，可以通过一种函数梯度下降来最小化KL距离，从而迭代地传输一组粒子以匹配目标分布。经过在各种真实世界模型和数据集上的实证研究，我们的方法与现有的最先进的方法相竞争。我们方法的推导基于一个新的理论结果，它连接了平滑转换下KL距离的导数与Stein's恒等式以及最近提出的核化的Stein距离，这也具有独立的兴趣。

Aug, 2016

我们提出了一种新的镜像随机Langevin扩散离散化方法，并给出了其收敛性的确定证明。

Oct, 2020

本研究介绍了一种新的粒子演化采样器，适用于约束域和非欧几里德几何。使用 Stein Variational Mirror Descent 和 Mirrored Stein Variational Gradient Descent 定义一个镜像映射，在双重空间中演化粒子，通过最小化 KL 散度到约束目标分布。 Stein Variational Natural Gradient 利用非欧几里德几何更高效地最小化 KL 散度到无约束目标。通过引入首次开发的一类镜像 Stein 算子和自适应内核来推导这些采样器。证明了这些新的采样器在单纯形上可以精确地逼近分布，在后选择推断中提供有效的置信区间，并且在大规模无约束后验推断中比以前的方法更快地收敛。最后，在目标分布上的可验证条件下，我们建立了我们的新程序的收敛性。

Jun, 2021

本文利用熵正则化方法，通过针对概率测度空间上的混合平衡点问题，采用对称梯度升降法求解Wasserstein距离来解决最小化最大问题，并取得全局收敛性。同时，提出Wasserstein几何下的凸凹可用于解决相关熵正则化的损失函数。

Feb, 2022

本文提出一种名为PFG的新粒子变分推断算法，采用一种 functional regularization 方法，支持更广泛的函数类，同时具有更好的可伸缩性和对恶劣条件分布的适应性，在渐进意义下连续地收敛于KL散度。

Nov, 2022

通过利用凸优化中的coin betting思想，将约束取样视为概率测度空间上的镜像优化问题，我们介绍了一套完全不依赖学习率的基于粒子的约束取样算法，并引入了现有约束取样算法的统一框架。数值实验表明，我们的算法在清单、公平约束、后选推理等任务中实现了非常有竞争力的性能，且无需调节任何超参数。

May, 2023

我们提出了一种名为Moreau-Yoshida Variational Transport（MYVT）的新方法，用于解决正则化的分布优化问题，该方法包括优化、概率分布、正则化估计和生成建模以及原始-对偶算法。

Jul, 2023

该论文介绍了一种称为广义Wasserstein梯度下降（GWG）的粒子变分推断方法框架，基于KL散度的广义Wasserstein梯度流，可视为具有更广泛正则化器类的函数梯度方法，展示了GWG具有强大的收敛性保证，通过实验证明了该框架在模拟和真实数据问题上的有效性和高效性。

Oct, 2023

通过在Wasserstein空间上引入测度梯度的离散时间方案，证明了一些目标函数和正则化器的收敛性，同时展示了在计算生物学中选择不同的差异度和几何结构的优势。

Jun, 2024

本研究解决了在约束域中进行采样的难题，提出了一种新的功能梯度变分推断方法，称为约束功能梯度流（CFG），并为其引入了梯度流的边界条件。通过理论分析和实验验证，展示了该方法在总变差下具有可证明的连续时间收敛性，提供了一种有效的处理约束域采样的框架。

Oct, 2024