Mar, 2024

带有顺序样本平均逼近的变分推断

PDF
TL;DR我们提出了基于顺序样本平均逼近（VISA）的变分推断方法，用于处理基于数值模拟的计算密集型模型。VISA 通过使用一系列样本平均逼近，在一个信任区域内计算合理，从而能够在多个梯度步骤中重复使用模型评估，从而降低计算成本。我们在高维高斯分布、Lotka-Volterra 动力学和 Pickover 吸引子上进行实验，结果表明 VISA 能够以至少两倍的计算节约达到与标准的重要性加权前向 KL 变分推断相当的逼近精度。
variational inferencesequential sample-average approximationcomputationally intensive modelsnumerical simulationscomputational cost
发现论文，激发创造
  • 黑盒 VI 的样本平均逼近

    我们提出了一种黑盒变分推断的新方法，通过使用序列样本平均逼近问题来解决随机梯度上升选择步长的困难，我们使用拟牛顿方法和线搜索来解决确定性优化问题，并提出了一种启发式策略来自动选择超参数，实验表明我们的方法简化了变分推断问题，并实现了比现有方法更快的性能。

    Apr, 2023

  • 变分推断：统计学家综述

    本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代 VI 研究中的重要问题进行了全面的讨论。

    Jan, 2016

  • 变分推断的进展

    本文综述了变分推断中的最新趋势，介绍了标准的均值场变分推断，然后回顾了最近的进展，包括可扩展的 VI，通用的 VI，准确的 VI 以及摊余的 VI，并提供有关未来研究方向的总结。

    Nov, 2017

  • 随机变分推断的平滑梯度

    本文介绍了一种改进的随机变分推断方法，其中使用移动平均方法构建代替自然梯度的向量，得到了更高的计算计算效率和更小的误差。测试表明该方法在大规模数据上表现良好。

    Jun, 2014

  • 加速随机概率推断

    本文提出了一种基于二阶方法的随机变分推断方法，通过求解变分目标函数的 Hessian 矩阵，选择了两种数值方案来实现这种方法，通过合成和真实数据的实证评估，证实了这种方法的有效性和效率。

    Mar, 2022

  • 提升变分推断

    提出了一种新的算法 Boosting Variational Inference（BVI），它基于渐进的计算，能够捕捉多模态、一般后验协方差和非标准后面形状，并且使用一个更灵活的逼近族，包括所有可能的有限混合一个参数基础分布（例如高斯）。

    Nov, 2016

  • 坐标上升变分推断的收敛性

    本文基于函数分析和优化工具，对变分推断 (VI) 方法中的坐标上升变分推断 (CAVI) 算法进行收敛性分析，提出基于广义相关性的算法收缩速率测度，并在多个实例中应用了该理论，得出了算法收缩速率的明确上界。

    Jun, 2023

  • 基于随机信赖域优化的快速黑盒变分推断

    TrustVI 是一种基于信任域优化和重新参数化技巧的快速二阶算法，用于黑盒变分推断。 它在每次迭代中提出并评估基于变分分布抽取的小批量的步骤。 该算法具有收敛到稳定点的可证明性。

    Jun, 2017

  • 变分推理，高斯混合模型，贝叶斯机器学习

    通过优化固定协方差和常值权重的高斯混合模型，将变分推断（Variational Inference）视为最小化平滑相对熵，研究其在非高斯情况下的理论性质，包括梯度下降和粒子系统优化。

    Jun, 2024

  • 自动结构化变分推断

    介绍了一种用于构建结构化变分族的自动化方法。这些凸优化族可以捕获复杂的统计依赖关系，并可用于一个非常大的模型族，包括连续和离散变量。通过在 TensorFlow Probability 中提供 ASVI 的开源实现，发现其表现较其他主流方法更佳。

    Feb, 2020