本文探讨了一种局部重参数技术来大大减少变分贝叶斯推断（SGVB）的随机梯度方差，同时保留并行可行性，并且将全局参数的不确定性转化为本地噪声，本方法可以推广到更加灵活参数化的后验分布中，同时探究了一种与dropout的关联。

Jun, 2015

我们提出了一种简单且通用的标准重参数化梯度估计变体，以用于变分证据下限。通过删除与评估参数有关的分数函数的导数，我们将产生一个无偏梯度估计器，其方差随着近似后验接近精确后验逐渐逼近零。我们从理论和实证方面分析了这种梯度估计器的行为，并将其推广到更复杂的变分分布中，例如混合分布和重要性加权后验。

Mar, 2017

提供了一种简单而高效的计算持续性随机变量低方差梯度的方法，称为重新参数化技巧，但它并不适用于许多重要的连续分布。 本文通过隐式微分介绍了一种计算重新参数化梯度的替代方法，并证明了其对Gamma，Beta，Dirichlet和von Mises分布具有更广泛的适用性，并且实验表明所提出的方法比现有的梯度估计方法更快，更准确。

May, 2018

提出了一种新的针对非可微密度模型的随机变分推断算法，通过对可微区域应用标准的重新参数化技巧、对边界区域应用流形采样，估计并得出梯度的高效率降低了方差并保持偏差的不变。

Jun, 2018

通过重参数化技巧计算的梯度与最优输运形式中的传输方程解直接对应。我们使用这种视角来为直接不易受到重参数化技巧影响的概率分布（伽马、贝塔和Dirichlet）计算（近似）路径梯度。

Jun, 2018

本文提出了一种称为双参数梯度估计器的方法，用于 Deep latent variable models 中的训练，并证明了该方法的可行性和有效性。

Oct, 2018

本文通过研究在目标平滑、变分族为位置-尺度分布情况下的重参数估计器，为基于随机梯度估计器的最新变分推断方法提供了不可改善的界限。

Jun, 2019

本文提出了一种基于 VarGrad 的无偏梯度估计方法，在概率变分推断中应用较广，并证明其比分数函数方法具有更低的方差和更优秀的计算性能。

Oct, 2020

传统的变分推理方法依赖于变分分布的参数族，而变分分布的选择对后验概率近似的准确性起着关键作用。本文提出了一种基于Variational Rejection Sampling (VRS)的新策略，通过引入低方差的重新参数化梯度估计器，将VRS变为一个适用于具有连续潜在变量的模型的引人注目的推理策略。理论上的论证和实证实验表明，得到的方法 - Reparameterized Variational Rejection Sampling (RVRS)在计算成本和推理准确性之间提供了一个吸引人的折衷方案，特别适用于具有局部潜在变量的黑盒推理。

Sep, 2023

Bayesian神经网络的近似后验在重新参数化下保持不变的问题被证明在线性化拉普拉斯近似中得到缓解。通过发展一种新的几何观点来解释线性化的成功，并利用Riemann扩散过程将这些重新参数化不变性扩展到原始神经网络预测，从而提出了一种简单的近似后验抽样算法，从而在实证中提高了后验拟合。

Jun, 2024