Mar, 2017

共轭计算变分推断：将非共轭模型中的变分推断转化为共轭模型中的推断

PDF
TL;DR本文提出 CVI 算法，将共轭计算和随机梯度结合，应用于大量模型并证明其收敛性，与忽略模型共轭结构的方法相比，我们的算法收敛速度更快。
variational inferenceconjugate and non-conjugate termscvi algorithmstochastic gradient methodsconvergence
发现论文，激发创造
  • 非共轭模型中的变分推断

    本文提出了两种通用的方法 ——Laplace 变分推断和 delta 算法变分推断 —— 用于解决非共轭模型下的均值场变分方法不能直接应用的问题。这些方法不仅适用于广泛的非共轭模型，并扩展并统一了一些已存在的基于特定模型的变分方法，并且也表现出良好的在实际数据集上的性能。

    Sep, 2012

  • 共轭指数族中的快速变分推断

    提出了一种用于概率模型的折叠变分推断算法的通用方法，该方法整合了许多现有的折叠变分推断方法，并基于较快的共轭梯度优化方法导出新的较低边际似然性的下界。

    Jun, 2012

  • 理解随机自然梯度变分推断

    随机自然梯度变分推断方法（NGVI）在各种概率模型中被广泛应用，本文对其非渐近收敛速度进行研究，证明了对于共轭似然情况下的非渐近收敛率为 1/T，而对于非共轭似然情况下的随机 NGVI，证明了它隐式地优化了一个非凸目标。

    Jun, 2024

  • 坐标上升变分推断的收敛性

    本文基于函数分析和优化工具，对变分推断 (VI) 方法中的坐标上升变分推断 (CAVI) 算法进行收敛性分析，提出基于广义相关性的算法收缩速率测度，并在多个实例中应用了该理论，得出了算法收缩速率的明确上界。

    Jun, 2023

  • 变分推断的进展

    本文综述了变分推断中的最新趋势，介绍了标准的均值场变分推断，然后回顾了最近的进展，包括可扩展的 VI，通用的 VI，准确的 VI 以及摊余的 VI，并提供有关未来研究方向的总结。

    Nov, 2017

  • 使用带有一般散度函数的近端梯度方法加速随机变分推断

    提出了一种基于随机梯度方法的变分推断新方法，不仅利用变分参数空间的几何性质，而且即使对于非共轭模型也可以产生简单的闭合式更新，该方法也具有收敛速率分析，即使用于非凸目标的随机镜像下降。在多种问题上，实验证明新算法在该框架中导出可以导致最先进的结果。

    Oct, 2015

  • 实践中的自然梯度：高斯过程模型中的非共轭变分推断

    本文探讨了利用自然梯度方法在非共轭随机模型环境下的超参数学习，结果显示自然梯度方法可显著提高性能和效率并已被集成于 GPflow 软件包中。

    Mar, 2018

  • 具有方差减少的随机共轭梯度算法

    提出一种带有方差缩减的新型随机共轭梯度算法，并使用 Fletcher 和 Reeves 方法证明其对于强凸光滑函数的线性收敛性。 实验表明，与其他算法相比，该算法在四个学习模型中收敛更快，同时在六个大数据集上表现相当，但计算效率显著提高。

    Oct, 2017

  • 逻辑模型的条件共轭均值场变分贝叶斯

    该论文介绍了病态模型中使用简单的 VB 策略进行贝叶斯推断的方法，其中特别探讨了在具有 logit 组件的模型中，logistic likelihood 和 linear predictor 系数的 Gaussian prior 之间的缺乏互补关系，并提供了一种新的方法进行有效的推断。

    Nov, 2017

  • 加速随机概率推断

    本文提出了一种基于二阶方法的随机变分推断方法，通过求解变分目标函数的 Hessian 矩阵，选择了两种数值方案来实现这种方法，通过合成和真实数据的实证评估，证实了这种方法的有效性和效率。

    Mar, 2022