本文探讨了一种局部重参数技术来大大减少变分贝叶斯推断（SGVB）的随机梯度方差，同时保留并行可行性，并且将全局参数的不确定性转化为本地噪声，本方法可以推广到更加灵活参数化的后验分布中，同时探究了一种与dropout的关联。

Jun, 2015

通过使用多样本重要性采样和无偏梯度估计器优化变分下界，从而提高潜变量模型的训练效果。

Feb, 2016

我们提出了一种简单且通用的标准重参数化梯度估计变体，以用于变分证据下限。通过删除与评估参数有关的分数函数的导数，我们将产生一个无偏梯度估计器，其方差随着近似后验接近精确后验逐渐逼近零。我们从理论和实证方面分析了这种梯度估计器的行为，并将其推广到更复杂的变分分布中，例如混合分布和重要性加权后验。

Mar, 2017

提供了一种简单而高效的计算持续性随机变量低方差梯度的方法，称为重新参数化技巧，但它并不适用于许多重要的连续分布。 本文通过隐式微分介绍了一种计算重新参数化梯度的替代方法，并证明了其对Gamma，Beta，Dirichlet和von Mises分布具有更广泛的适用性，并且实验表明所提出的方法比现有的梯度估计方法更快，更准确。

May, 2018

本文探讨变分推断问题中使用重新参数化技巧的效果，通过理论分析和实验展示了其优越性，重点在于阐述它相比于其他方法更准确地估计了 variational objective 的梯度。

Sep, 2018

本文提出了一种称为双参数梯度估计器的方法，用于 Deep latent variable models 中的训练，并证明了该方法的可行性和有效性。

Oct, 2018

本文提出一种新的自然梯度VPNG，用于解决传统自然梯度在变分参数强烈相关的情况下不能修正相关性的问题，并在分类任务、图像生成模型和概率矩阵分解等方面进行了实证验证。

Mar, 2019

本文通过研究在目标平滑、变分族为位置-尺度分布情况下的重参数估计器，为基于随机梯度估计器的最新变分推断方法提供了不可改善的界限。

Jun, 2019

传统的变分推理方法依赖于变分分布的参数族，而变分分布的选择对后验概率近似的准确性起着关键作用。本文提出了一种基于Variational Rejection Sampling (VRS)的新策略，通过引入低方差的重新参数化梯度估计器，将VRS变为一个适用于具有连续潜在变量的模型的引人注目的推理策略。理论上的论证和实证实验表明，得到的方法 - Reparameterized Variational Rejection Sampling (RVRS)在计算成本和推理准确性之间提供了一个吸引人的折衷方案，特别适用于具有局部潜在变量的黑盒推理。

Sep, 2023

介绍了一种针对非可微模型的新型随机梯度下降（SGD）方法，利用渐进平滑逼近方法提高了渐进平滑逼近的精度，并证明了收敛到原始目标的固定点，在实验中表现出了简单、快速、稳定的特点，并实现了工作归一化方差的数量级降低。

Feb, 2024