Jul, 2023

黑盒变分推断的线性收敛性：我们应该坚持完成吗？

PDF
TL;DR在完美变分族规范下，证明了带有控制变量的黑盒变分推断（BBVI），特别是附着着陆（STL）估计器，在几何（传统称为 “线性”）速率下收敛。我们证明了 STL 估计器的梯度方差的二次界限，由此可以直接推出使用投影随机梯度下降的 BBVI 的收敛性。我们还改进了现有的关于常规闭式熵梯度估计器的分析，从而使其可以与 STL 估计器进行比较，并为两者提供明确的非渐近复杂性保证。
black-box variational inferencebbvisticking-the-landing estimatorgeometric convergencegradient variance
发现论文，激发创造
  • 黑盒变分推断收敛

    本文提供了第一篇关于全黑箱变分推断的收敛性保证，特别是蒙特卡罗变分推断。作者通过与传统算法相比的分析，证明了使用鲁棒的变分族文件和负责的算法设计，特别是使用近端随机梯度下降，可以实现最强的已知收敛速率保证。

    May, 2023

  • 黑盒变分推断的可证收敛性保证

    针对黑盒变分推理的随机优化的挑战，该论文提出了一种基于重参数化的梯度估计方法来保证其收敛性，并给出了针对密集高斯变分族收敛的新的收敛保证和独特噪声边界.

    Jun, 2023

  • 结构化黑盒变分推断用于潜在时间序列模型

    介绍了一种类似于前向 - 后向算法的 BBVI 算法，它可以使得我们高效地从变分分布中进行采样，并且可以估计 ELBO 梯度。在动态词嵌入模型上的结果证明了我们方法的有效性。

    Jul, 2017

  • 黑盒变分推断的可证明平滑性保证

    本研究论文讨论了黑盒变分推断通过梯度优化较简单分布的参数来逼近复杂目标分布。研究发现，在采用位置 - 比例族逼近的情况下，如果目标是 M-Lipschitz 平滑的，则目标函数也是 M-Lipschitz 平滑的，当然熵要被排除在外。这个结论揭示了如何对分布参数化的思路，给出了最佳参数位置的界并且是收敛保证的关键因素。

    Jan, 2019

  • 降落完毕：变分推断中的简单、低差异度梯度估计器

    我们提出了一种简单且通用的标准重参数化梯度估计变体，以用于变分证据下限。通过删除与评估参数有关的分数函数的导数，我们将产生一个无偏梯度估计器，其方差随着近似后验接近精确后验逐渐逼近零。我们从理论和实证方面分析了这种梯度估计器的行为，并将其推广到更复杂的变分分布中，例如混合分布和重要性加权后验。

    Mar, 2017

  • 带有梯度线性化的随机变分推断

    本文提出了随机梯度线性化变分推断，并通过三个应用案例展示了在收敛速度和 KL 散度方面相对于传统梯度方法的明显优势。

    Mar, 2018

  • 提升黑盒变分推断

    本文提出了一种改进算法，基于强化版 Variational Inference 方法，用于更有效地近似概率密度，以此实现贝叶斯统计中重要的求解任务，提出的改进方法叫做 Boosting VI。通过对算法的理论分析，证明了算法的收敛性和可行性，并且经过实验验证，该算法在实际应用中能够取得不错的效果。

    Jun, 2018

  • 基于随机信赖域优化的快速黑盒变分推断

    TrustVI 是一种基于信任域优化和重新参数化技巧的快速二阶算法，用于黑盒变分推断。 它在每次迭代中提出并评估基于变分分布抽取的小批量的步骤。 该算法具有收敛到稳定点的可证明性。

    Jun, 2017

  • 黑盒变分推断的可证明梯度方差保证

    本文通过研究在目标平滑、变分族为位置 - 尺度分布情况下的重参数估计器，为基于随机梯度估计器的最新变分推断方法提供了不可改善的界限。

    Jun, 2019

  • 黑匣子变分推断

    本文介绍了一种基于蒙特卡洛采样的随机优化算法，可用于快速逼近复杂潜在变量模型的后验概率分布，避免了繁琐的模型推导过程，同时探索了多种长期医疗数据模型。

    Dec, 2013