Mar, 2017

降落完毕:变分推断中的简单、低差异度梯度估计器

TL;DR我们提出了一种简单且通用的标准重参数化梯度估计变体,以用于变分证据下限。通过删除与评估参数有关的分数函数的导数,我们将产生一个无偏梯度估计器,其方差随着近似后验接近精确后验逐渐逼近零。我们从理论和实证方面分析了这种梯度估计器的行为,并将其推广到更复杂的变分分布中,例如混合分布和重要性加权后验。