本研究提出了一种新方法,使得基于接受拒绝采样算法的随机变量也可以使用再参数化技巧,这种方法可以扩展再参数化技巧的适用范围,且实验表明该方法可以获得比其他现有技术更低的梯度估计方差,从而实现更快的随机梯度变分推断收敛。
Oct, 2016
本研究提出了一种基于控制变量(control variate)方法,通过估计梯度样本的生成过程近似减少噪声梯度的方差,取得了多个数量级(20-2,000 倍)的优化效果提升,在非共轭多级层次模型和贝叶斯神经网络实验中证明了其有效性。
May, 2017
本文提出广义重参数化梯度,将此技术拓展到更大范围的变分分布,使用潜在变量的可逆变换,组合重参数化梯度和分数函数梯度得到新的 Monte Carlo 梯度,并在两个复杂的概率模型上展示了其高效性。
提出了一种新的针对非可微密度模型的随机变分推断算法,通过对可微区域应用标准的重新参数化技巧、对边界区域应用流形采样,估计并得出梯度的高效率降低了方差并保持偏差的不变。
Jun, 2018
提供了一种简单而高效的计算持续性随机变量低方差梯度的方法,称为重新参数化技巧,但它并不适用于许多重要的连续分布。 本文通过隐式微分介绍了一种计算重新参数化梯度的替代方法,并证明了其对 Gamma,Beta,Dirichlet 和 von Mises 分布具有更广泛的适用性,并且实验表明所提出的方法比现有的梯度估计方法更快,更准确。
May, 2018
通过 reparameterization trick 和新的变换方法,本文提出了一种有效的估算混合密度模型中梯度的方法,可以用于训练具有混合分布潜变量的变分自编码器或执行混合密度变分后验的随机变分推断。
Jul, 2016
我们提出了一种简单且通用的标准重参数化梯度估计变体,以用于变分证据下限。通过删除与评估参数有关的分数函数的导数,我们将产生一个无偏梯度估计器,其方差随着近似后验接近精确后验逐渐逼近零。我们从理论和实证方面分析了这种梯度估计器的行为,并将其推广到更复杂的变分分布中,例如混合分布和重要性加权后验。
Mar, 2017
通过重参数化技巧计算的梯度与最优输运形式中的传输方程解直接对应。我们使用这种视角来为直接不易受到重参数化技巧影响的概率分布(伽马、贝塔和 Dirichlet)计算(近似)路径梯度。
本文通过研究在目标平滑、变分族为位置 - 尺度分布情况下的重参数估计器,为基于随机梯度估计器的最新变分推断方法提供了不可改善的界限。
Jun, 2019
本文探讨了一种局部重参数技术来大大减少变分贝叶斯推断(SGVB)的随机梯度方差,同时保留并行可行性,并且将全局参数的不确定性转化为本地噪声,本方法可以推广到更加灵活参数化的后验分布中,同时探究了一种与 dropout 的关联。
Jun, 2015