Mar, 2017

降落完毕：变分推断中的简单、低差异度梯度估计器

PDF
TL;DR我们提出了一种简单且通用的标准重参数化梯度估计变体，以用于变分证据下限。通过删除与评估参数有关的分数函数的导数，我们将产生一个无偏梯度估计器，其方差随着近似后验接近精确后验逐渐逼近零。我们从理论和实证方面分析了这种梯度估计器的行为，并将其推广到更复杂的变分分布中，例如混合分布和重要性加权后验。
variational evidence lower boundgradient estimatorscore functionapproximate posteriorvariational distributions
发现论文，激发创造
  • VarGrad: 变分推断的低方差梯度估计器

    本文提出了一种基于 VarGrad 的无偏梯度估计方法，在概率变分推断中应用较广，并证明其比分数函数方法具有更低的方差和更优秀的计算性能。

    Oct, 2020

  • 重参数化技巧的方差降低特性

    本文探讨变分推断问题中使用重新参数化技巧的效果，通过理论分析和实验展示了其优越性，重点在于阐述它相比于其他方法更准确地估计了 variational objective 的梯度。

    Sep, 2018

  • 黑盒变分推断的线性收敛性：我们应该坚持完成吗？

    在完美变分族规范下，证明了带有控制变量的黑盒变分推断（BBVI），特别是附着着陆（STL）估计器，在几何（传统称为 “线性”）速率下收敛。我们证明了 STL 估计器的梯度方差的二次界限，由此可以直接推出使用投影随机梯度下降的 BBVI 的收敛性。我们还改进了现有的关于常规闭式熵梯度估计器的分析，从而使其可以与 STL 估计器进行比较，并为两者提供明确的非渐近复杂性保证。

    Jul, 2023

  • 黑盒变分推断的可证明梯度方差保证

    本文通过研究在目标平滑、变分族为位置 - 尺度分布情况下的重参数估计器，为基于随机梯度估计器的最新变分推断方法提供了不可改善的界限。

    Jun, 2019

  • 斯坦变分梯度下降：一种通用贝叶斯推断算法

    本文提出了用于优化的通用变分推理算法，它是梯度下降法的一种自然补充，可以通过一种函数梯度下降来最小化 KL 距离，从而迭代地传输一组粒子以匹配目标分布。经过在各种真实世界模型和数据集上的实证研究，我们的方法与现有的最先进的方法相竞争。我们方法的推导基于一个新的理论结果，它连接了平滑转换下 KL 距离的导数与 Stein's 恒等式以及最近提出的核化的 Stein 距离，这也具有独立的兴趣。

    Aug, 2016

  • 快速二阶随机反向传播在变分推断中的应用

    提出了一种受高斯反向传播启发的二阶（海森或无海森）优化方法，该方法通过低复杂度的再参数化技巧推广随机反向传播的梯度计算，实现了不依赖模型的可扩展变分推断。将其应用于贝叶斯逻辑回归和变分自编码器（VAE）问题时，获得了实际，可扩展和模型无关的结果。

    Sep, 2015

  • 非可导模型的重参数化梯度

    提出了一种新的针对非可微密度模型的随机变分推断算法，通过对可微区域应用标准的重新参数化技巧、对边界区域应用流形采样，估计并得出梯度的高效率降低了方差并保持偏差的不变。

    Jun, 2018

  • 变分拒绝抽样

    本文提出了一种采用拒绝抽样方法来舍弃具有低似然的变分后验采样的方法，并使用一种新的梯度估计器，以 MNIST 数据集为例，在估计边际对数似然时，相对于现有的基于单样本和多样本的方法，可以平均提高 3.71 个 nats 和 0.21 个 nats 的准确性。

    Apr, 2018

  • 具有增量式方差减少的随机组合梯度法

    本文提出了一种基于随机复合梯度法和增量方差缩减估计器的方法来最小化非凸函数的期望值和有限和，尽管丧失了复合梯度估计器的无偏性，但该方法达到了最佳已知一阶方法的复杂度，扩大了增量方差缩减方法在机器学习中的应用范围。

    Jun, 2019

  • 使用本地线性模型的变分梯度下降

    通过使用本地线性模型，提出了一种使用目标和粒子分布的样本计算梯度的新方法，可以替代需要计算目标得分函数的 Stein 变分梯度下降（SVGD）方法。

    May, 2023