BriefGPT.xyz
May, 2018
隐式重参数化梯度
Implicit Reparameterization Gradients
HTML
PDF
Michael Figurnov, Shakir Mohamed, Andriy Mnih
TL;DR
提供了一种简单而高效的计算持续性随机变量低方差梯度的方法，称为重新参数化技巧，但它并不适用于许多重要的连续分布。 本文通过隐式微分介绍了一种计算重新参数化梯度的替代方法，并证明了其对Gamma，Beta，Dirichlet和von Mises分布具有更广泛的适用性，并且实验表明所提出的方法比现有的梯度估计方法更快，更准确。
Abstract
By providing a simple and efficient way of computing low-variance gradients of continuous random variables, the
reparameterization trick
has become the technique of choice for training a variety of
latent variable model
→