NIPSJun, 2017

基于随机信赖域优化的快速黑盒变分推断

PDF
TL;DRTrustVI 是一种基于信任域优化和重新参数化技巧的快速二阶算法，用于黑盒变分推断。 它在每次迭代中提出并评估基于变分分布抽取的小批量的步骤。 该算法具有收敛到稳定点的可证明性。
trustvivariational inferencesecond-order algorithmreparameterization trickconvergence guarantees
发现论文，激发创造
  • 加速随机概率推断

    本文提出了一种基于二阶方法的随机变分推断方法，通过求解变分目标函数的 Hessian 矩阵，选择了两种数值方案来实现这种方法，通过合成和真实数据的实证评估，证实了这种方法的有效性和效率。

    Mar, 2022

  • 黑盒变分推断收敛

    本文提供了第一篇关于全黑箱变分推断的收敛性保证，特别是蒙特卡罗变分推断。作者通过与传统算法相比的分析，证明了使用鲁棒的变分族文件和负责的算法设计，特别是使用近端随机梯度下降，可以实现最强的已知收敛速率保证。

    May, 2023

  • 随机变分推断的平滑梯度

    本文介绍了一种改进的随机变分推断方法，其中使用移动平均方法构建代替自然梯度的向量，得到了更高的计算计算效率和更小的误差。测试表明该方法在大规模数据上表现良好。

    Jun, 2014

  • 随机变分不等式的简洁优化方法，II：马尔可夫噪声与强化学习策略评估

    本文研究了马尔可夫噪声下的随机泛型不等式问题，并提出了用于强化学习中的随机策略评估问题的算法，包括改进的标准 TD 算法和快速 TD 算法等。

    Nov, 2020

  • 快速二阶随机反向传播在变分推断中的应用

    提出了一种受高斯反向传播启发的二阶（海森或无海森）优化方法，该方法通过低复杂度的再参数化技巧推广随机反向传播的梯度计算，实现了不依赖模型的可扩展变分推断。将其应用于贝叶斯逻辑回归和变分自编码器（VAE）问题时，获得了实际，可扩展和模型无关的结果。

    Sep, 2015

  • 确定性目标的黑盒变分推断：更快、更准确，更加黑箱

    本研究介绍了一种称为 “确定性 ADVI” 的方法来解决 MFVB 的问题，并使用蒙特卡罗近似方法去优化其目标，相较于标准的 MFVB，确定性 ADVI 能更准确地预测后验线性响应协方差，并在现实问题中表现更加可靠并具有更快的速度和更高的准确性。

    Apr, 2023

  • 提升黑盒变分推断

    本文提出了一种改进算法，基于强化版 Variational Inference 方法，用于更有效地近似概率密度，以此实现贝叶斯统计中重要的求解任务，提出的改进方法叫做 Boosting VI。通过对算法的理论分析，证明了算法的收敛性和可行性，并且经过实验验证，该算法在实际应用中能够取得不错的效果。

    Jun, 2018

  • 提升变分推断

    提出了一种新的算法 Boosting Variational Inference（BVI），它基于渐进的计算，能够捕捉多模态、一般后验协方差和非标准后面形状，并且使用一个更灵活的逼近族，包括所有可能的有限混合一个参数基础分布（例如高斯）。

    Nov, 2016

  • 基于信息论的随机梯度优化的置信区间

    使用信息论信任域优化算法 (arTuRO)，通过模型化网络参数为高斯分布并使用基于 Kullback-Leibler 散度的信任域，我们利用较少的一阶信息从随机梯度中近似计算 Hessian 的对角元素，构建随时间变化的期望 Hessian 模型，并在每次更新之前为最佳步长解决信任域问题，从而实现更稳定和更快的优化过程，将自适应基于动量的优化的快速收敛性与 SGD 的泛化能力结合起来。

    Oct, 2023

  • 黑盒变分推断的可证收敛性保证

    针对黑盒变分推理的随机优化的挑战，该论文提出了一种基于重参数化的梯度估计方法来保证其收敛性，并给出了针对密集高斯变分族收敛的新的收敛保证和独特噪声边界.

    Jun, 2023