针对黑盒变分推理的随机优化的挑战，该论文提出了一种基于重参数化的梯度估计方法来保证其收敛性，并给出了针对密集高斯变分族收敛的新的收敛保证和独特噪声边界.

Jun, 2023

本文研究贝叶斯推断问题，特别关注于最近引入的斯坦变分梯度下降方法，介绍了该方法的交互粒子系统构建；并通过研究选择合适的正定核函数的问题，提出采用调整尾部的某些不可微核函数，证明在各种数值实验中这种方法具有明显的性能提升。

Dec, 2019

提出了一种多级方案来逐渐减少随机梯度方差的新的近端随机梯度方法，用于解决平滑组件函数的平均和简单近端映射的一般凸函数总和的极小化问题。

Mar, 2014

本文提出了用于优化的通用变分推理算法，它是梯度下降法的一种自然补充，可以通过一种函数梯度下降来最小化 KL 距离，从而迭代地传输一组粒子以匹配目标分布。经过在各种真实世界模型和数据集上的实证研究，我们的方法与现有的最先进的方法相竞争。我们方法的推导基于一个新的理论结果，它连接了平滑转换下 KL 距离的导数与 Stein's 恒等式以及最近提出的核化的 Stein 距离，这也具有独立的兴趣。

Aug, 2016

本文提出了随机梯度线性化变分推断，并通过三个应用案例展示了在收敛速度和 KL 散度方面相对于传统梯度方法的明显优势。

Mar, 2018

提出了一种用于概率模型的折叠变分推断算法的通用方法，该方法整合了许多现有的折叠变分推断方法，并基于较快的共轭梯度优化方法导出新的较低边际似然性的下界。

Jun, 2012

本文研究了针对 Wasserstein 距离的多种变量减少方法（包括 SAGA Langevin 扩散、SVRG Langevin 扩散和控制变量欠阻尼 Langevin 扩散）的收敛性保证，同时对后验分布进行了一致的假设：光滑、强凸和 Hessian Lipschitz。通过一种新的证明技术，结合了有限和最优化与抽样方法分析的思想，我们得到了尖锐的理论上界，可以确定每种方法比其他方法更好的兴趣范围，并通过对真实世界和合成数据集的实验验证了我们的理论。

Feb, 2018

本文研究了一种更为广泛的两人博弈非凸强凹优化的收敛性，在 K-L 参数化几何全谱上，证明了 Proximal-GDA 算法的收敛速率是不同的，这是首个关于非凸极小极大优化变量收敛的理论结果。

Feb, 2021

该论文重新审视了当今非凸优化设置中随机镜像下降（Stochastic Mirror Descent，SMD）的收敛性。通过支持一般距离生成函数（distance generating function，DGF）的新的非凸 SMD 收敛分析，该论文克服了先前结果对于具有光滑连续的梯度的可微性 DGF 的限制，并仅依赖于标准假设。此外，该论文通过 Bregman 前向 - 后向包络建立了收敛性，该包络是比常用的梯度映射的平方范数更强的度量。进一步，该论文将结果扩展到在次高斯噪声下的高概率收敛和在广义 Bregman Proximal Polyak-Lojasiewicz 条件下的全局收敛。此外，通过利用非光滑 DGFs，我们展示了改进的 SMD 理论在各种非凸机器学习任务中的优势。值得注意的是，在非凸差分隐私（differentially private，DP）学习的背景下，我们的理论提供了一个（几乎）维度无关的效用界算法。对于训练线性神经网络的问题，我们开发了可证明收敛的随机算法。

Feb, 2024

本文提出一种应用于概率分布空间优化问题中的变分形式的 Wasserstein 梯度流方法，该方法利用了内部批量样本更新，实现了良好定义和有意义的目标函数下的梯度流构造，并在合成和真实高维数据集的实验中展示了其性能和可扩展性。

Dec, 2021