隐式重参数化梯度

May, 2018

Implicit Reparameterization Gradients

Michael Figurnov, Shakir Mohamed, Andriy Mnih

TL;DR提供了一种简单而高效的计算持续性随机变量低方差梯度的方法，称为重新参数化技巧，但它并不适用于许多重要的连续分布。本文通过隐式微分介绍了一种计算重新参数化梯度的替代方法，并证明了其对 Gamma，Beta，Dirichlet 和 von Mises 分布具有更广泛的适用性，并且实验表明所提出的方法比现有的梯度估计方法更快，更准确。

Abstract

By providing a simple and efficient way of computing low-variance gradients of continuous random variables, the reparameterization trick has become the technique of choice for training a variety of latent variable model

reparameterization trick latent variable models continuous distributions implicit differentiation gradient estimators

发现论文，激发创造

广义的重新参数化梯度

本文提出广义重参数化梯度，将此技术拓展到更大范围的变分分布，使用潜在变量的可逆变换，组合重参数化梯度和分数函数梯度得到新的 Monte Carlo 梯度，并在两个复杂的概率模型上展示了其高效性。

Oct, 2016

通过接受 - 拒绝抽样算法的重参数化梯度

本研究提出了一种新方法，使得基于接受拒绝采样算法的随机变量也可以使用再参数化技巧，这种方法可以扩展再参数化技巧的适用范围，且实验表明该方法可以获得比其他现有技术更低的梯度估计方差，从而实现更快的随机梯度变分推断收敛。

Oct, 2016

混合密度分布随机反向传播

通过 reparameterization trick 和新的变换方法，本文提出了一种有效的估算混合密度模型中梯度的方法，可以用于训练具有混合分布潜变量的变分自编码器或执行混合密度变分后验的随机变分推断。

Jul, 2016

超越重新参数化技巧的路径导数

通过重参数化技巧计算的梯度与最优输运形式中的传输方程解直接对应。我们使用这种视角来为直接不易受到重参数化技巧影响的概率分布（伽马、贝塔和 Dirichlet）计算（近似）路径梯度。

Jun, 2018

非可导模型的重参数化梯度

提出了一种新的针对非可微密度模型的随机变分推断算法，通过对可微区域应用标准的重新参数化技巧、对边界区域应用流形采样，估计并得出梯度的高效率降低了方差并保持偏差的不变。

Jun, 2018

学习模型重新参数化：通过拟合 MCMC 分布实现隐式变分推断

介绍了一种新的算法，该算法通过再参数化、马尔可夫链蒙特卡罗和变分方法相结合，构建了一种非常灵活的隐式变分分布，避免了计算 Log 密度比率，因此易于适用于任意连续且可微模型，并且演示了拟合香蕉形状分布和训练变分自动编码器的应用。

Aug, 2017

降低重新参数化梯度方差

本研究提出了一种基于控制变量（control variate）方法，通过估计梯度样本的生成过程近似减少噪声梯度的方差，取得了多个数量级（20-2,000 倍）的优化效果提升，在非共轭多级层次模型和贝叶斯神经网络实验中证明了其有效性。

May, 2017

用随机梯度变分贝叶斯近似伽马分布

本文研究了使用梯度的 log posterior 方法来控制梯度估计方差的问题，并应用到伽马分布潜在变量中，以实现稀疏性和非负性适用的模型的黑盒变分推断。该方法在网络数据的伽马过程模型和一种新型的稀疏因子分析中的应用效果均优于传统采样算法和对变换后变量使用高斯变分分布的方法。

Sep, 2015

重参数化技巧的方差降低特性

本文探讨变分推断问题中使用重新参数化技巧的效果，通过理论分析和实验展示了其优越性，重点在于阐述它相比于其他方法更准确地估计了 variational objective 的梯度。

Sep, 2018

离散潜变量的联合梯度估计器

该研究提出了一种基于重要性采样和统计耦合的派生估计器，将分类变量重新参数化作为二进制序列，并进行 Rao-Blackwellization，结果表明该方法在离散潜变量训练中具有最先进的性能。

Jun, 2021