本文介绍了变分Renyi界限(VR)，它将传统的变分推理扩展到了Renyi的Alpha-散度。这种新型的变分方法统一了许多现有方法，并且通过参数化散度的Alpha值，实现了从证据下限到对数（边际）似然的平滑插值。采用重参数化技巧、蒙特卡罗近似和随机优化方法，获得了一个可行和统一的优化框架。我们进一步考虑了负Alpha值，并在所提出的框架的一个新的特殊情况下提出了一种新的变分推理方法。在贝叶斯神经网络和变分自编码器上的实验证明了VR界限的广泛适用性。

Feb, 2016

本文介绍了一种使用直接优化“尺度不变的Alpha-Beta离散度”（sAB离散度）的变分逼近框架，该新目标包含了大多数使用Kullback-Leibler、Rényi或gamma离散度的变分目标，还提供了以前在变分推理环境中从未利用过的目标函数。这通过两个易于解释的控制参数实现，可以在离散度空间上平滑地插值，同时交换目标分布的质量覆盖和数据异常值鲁棒性等属性。此外，通过重新定位用于复杂变分目标的蒙特卡罗计算现有方法，可以直接优化sAB变分目标，导致离散度的估计值而不是变分下限。我们展示了这个目标在回归问题的贝叶斯模型上的优势。

May, 2018

该论文提出了一种基于Stein恒等式和核算子的谱分解的梯度估计器，其中的特征函数由Nyström方法近似，可以直接估计梯度函数，适用于无采样点的外样本拓展，应用于无梯度的Hamiltonian Monte Carlo和带隐式分布的变分推断，并通过和Kernel PCA的连系探讨了方法背后的原理，表明该估计器能够自适应于潜在分布的几何形态。

Jun, 2018

研究表明，在许多鲁棒性估计问题中，即使基础优化问题是非凸的，这些问题也能够有效地解决。研究这些鲁棒性估计问题的损失景观，并确定了存在“广义拟梯度”的情况。对于分布的鲁棒均值估计，我们证明了一阶稳定点是近似全局最小值，如果损坏水平小于$1/3$；对于其他任务，包括线性回归和联合均值和协方差估计，我们显示了广义拟梯度的存在，并构建了有效的算法。

May, 2020

分析了带偏差随机梯度方法的复杂性，特别是在非凸函数上的收敛性及更好的速率，探究了偏差大小对达到的准确性和收敛速率的影响，阐述了偏差梯度在分布式学习和无导数优化中的应用广泛性。

Jul, 2020

本文提出了一种基于 VarGrad 的无偏梯度估计方法，在概率变分推断中应用较广，并证明其比分数函数方法具有更低的方差和更优秀的计算性能。

Oct, 2020

通过理论分析和大量实验证明，在Deep Gaussian Processes (DGPs)使用加权变分推断训练的梯度估计中，信噪比问题是普遍存在的。本文提出的基于双重重参数化的梯度估计方法解决了这个问题，提高了DGPs模型的预测性能。

Nov, 2020

本文提出一种新的随机优化原理，即使用 Blanchet 和 Glynn 的多级 Monte-Carlo 方法将任何最优随机梯度方法转换为 $x_*$ 的估计量，以此为基础获得了一种廉价且几乎无偏差的梯度估计器，可以应用于随机优化的多个领域，如随机优化，概率图形模型推理以及优化的机器学习等。

Jun, 2021

无偏稀疏化是对随机向量进行压缩而不引入偏差的方法，在排列不变和可分离加性的情况下，我们描述了最佳无偏稀疏化的特征，它可以适用于各种不同的差异函数。

Feb, 2024

对于以不可解期望的求和形式作为优化目标的问题，除了有界方差等强假设条件外，很少了解双重随机梯度下降（doubly SGD）的收敛性质。本研究在一般条件下，建立了具有独立小批量和随机重排的双重随机梯度下降的收敛性，并允许对依赖的分量梯度估计进行详细分析，推荐在每次迭代的计算预算中如何进行合理分配，同时证明随机重排（RR）可以改善子采样噪声的复杂度依赖关系。

Jun, 2024