混合密度分布随机反向传播

Jul, 2016

Stochastic Backpropagation through Mixture Density Distributions

Alex Graves

TL;DR通过 reparameterization trick 和新的变换方法，本文提出了一种有效的估算混合密度模型中梯度的方法，可以用于训练具有混合分布潜变量的变分自编码器或执行混合密度变分后验的随机变分推断。

Abstract

The ability to backpropagate stochastic gradients through continuous latent distributions has been crucial to the emergence of variational autoencoders and stochastic gradient variational Bayes. The key ingredient is an unbiased and low-variance way of estimating gradients with respect

backpropagation latent distributions reparameterization trick mixture density models variational autoencoders

发现论文，激发创造

隐式重参数化梯度

提供了一种简单而高效的计算持续性随机变量低方差梯度的方法，称为重新参数化技巧，但它并不适用于许多重要的连续分布。本文通过隐式微分介绍了一种计算重新参数化梯度的替代方法，并证明了其对 Gamma，Beta，Dirichlet 和 von Mises 分布具有更广泛的适用性，并且实验表明所提出的方法比现有的梯度估计方法更快，更准确。

May, 2018

非可导模型的重参数化梯度

提出了一种新的针对非可微密度模型的随机变分推断算法，通过对可微区域应用标准的重新参数化技巧、对边界区域应用流形采样，估计并得出梯度的高效率降低了方差并保持偏差的不变。

Jun, 2018

自动编码变分贝叶斯

本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。

Dec, 2013

通过接受 - 拒绝抽样算法的重参数化梯度

本研究提出了一种新方法，使得基于接受拒绝采样算法的随机变量也可以使用再参数化技巧，这种方法可以扩展再参数化技巧的适用范围，且实验表明该方法可以获得比其他现有技术更低的梯度估计方差，从而实现更快的随机梯度变分推断收敛。

Oct, 2016

李群上的重参数化分布

本文提出了一种通用的框架，以在任意 Lie 群上创建可重参数化密度，并提供了详细的从业者指南，展示了如何在面向 3D 旋转的定向群 $SO (3)$ 上使用归一化流创建复杂的和多模态的分布，其应用于具有离散和连续对称性的对象的姿态估计中展示了它们在实现现实情境下的不确定性估计方面的必要性。

Mar, 2019

广义的重新参数化梯度

本文提出广义重参数化梯度，将此技术拓展到更大范围的变分分布，使用潜在变量的可逆变换，组合重参数化梯度和分数函数梯度得到新的 Monte Carlo 梯度，并在两个复杂的概率模型上展示了其高效性。

Oct, 2016

快速二阶随机反向传播在变分推断中的应用

提出了一种受高斯反向传播启发的二阶（海森或无海森）优化方法，该方法通过低复杂度的再参数化技巧推广随机反向传播的梯度计算，实现了不依赖模型的可扩展变分推断。将其应用于贝叶斯逻辑回归和变分自编码器（VAE）问题时，获得了实际，可扩展和模型无关的结果。

Sep, 2015

多个后验模式的可微稳定的远程跟踪

通过训练数据来区分地学习基于粒子的不确定性表示方法，通过深度神经网络编码器对任意观测进行条件下的连续概率混合分布表示的混合密度粒子滤波器，在连续潜在状态中提升准确性和鲁棒性。

Apr, 2024

学习模型重新参数化：通过拟合 MCMC 分布实现隐式变分推断

介绍了一种新的算法，该算法通过再参数化、马尔可夫链蒙特卡罗和变分方法相结合，构建了一种非常灵活的隐式变分分布，避免了计算 Log 密度比率，因此易于适用于任意连续且可微模型，并且演示了拟合香蕉形状分布和训练变分自动编码器的应用。

Aug, 2017

离散变分自编码器

该研究提出了一种使用变分自编码器框架中的反向传播通过离散潜在变量训练带有离散潜变量的概率模型的新方法，能够有效地从无监督数据中学习对象的类别和像素级别的信息，并在 MNIST，Omniglot 和 Caltech-101 Silhouettes 数据集上比其他方法更加先进。

Sep, 2016