ICMLJun, 2015

Beta Bernoulli 过程的随机变分算法实证研究

PDF
TL;DR研究使用 SVI 在稀疏潜在因子模型（尤其是 BPFA）中的性能，发现使用 Gibbs 采样维护特定后验依赖关系非常有效，但在 BPFA 中不同的后验依赖关系与 LDA 不同，并且模拟内局部变量依赖性的近似方法表现最佳。
stochastic variational inferencebayesian probabilistic modelslatent factor modelsbeta process factor analysisposterior dependencies
发现论文，激发创造
  • 随机变分推断

    本研究开发了基于随机变分推断的可伸缩算法，用于逼近后验概率分布，并且针对一类大规模的概率模型进行了技术开发；对两个概率主题模型进行了演示并应用于大量文献数据的分析，其中包括自然杂志、《纽约时报》和维基百科，结果表明随机变分推断可轻松处理大型数据集并优于传统变分推断，并且表明贝叶斯非参数主题模型优于参数主题模型；因此基于随机变分推断的算法可以将复杂的贝叶斯模型应用于大规模的数据集。

    Jun, 2012

  • 加速随机概率推断

    本文提出了一种基于二阶方法的随机变分推断方法，通过求解变分目标函数的 Hessian 矩阵，选择了两种数值方案来实现这种方法，通过合成和真实数据的实证评估，证实了这种方法的有效性和效率。

    Mar, 2022

  • 提升变分推断

    提出了一种新的算法 Boosting Variational Inference（BVI），它基于渐进的计算，能够捕捉多模态、一般后验协方差和非标准后面形状，并且使用一个更灵活的逼近族，包括所有可能的有限混合一个参数基础分布（例如高斯）。

    Nov, 2016

  • 变分推断：统计学家综述

    本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代 VI 研究中的重要问题进行了全面的讨论。

    Jan, 2016

  • 变分推断的进展

    本文综述了变分推断中的最新趋势，介绍了标准的均值场变分推断，然后回顾了最近的进展，包括可扩展的 VI，通用的 VI，准确的 VI 以及摊余的 VI，并提供有关未来研究方向的总结。

    Nov, 2017

  • 随机变分推断的平滑梯度

    本文介绍了一种改进的随机变分推断方法，其中使用移动平均方法构建代替自然梯度的向量，得到了更高的计算计算效率和更小的误差。测试表明该方法在大规模数据上表现良好。

    Jun, 2014

  • 流式变分贝叶斯

    SDA-Bayes 是一个用于贝叶斯后验概率的流式、分布式、异步计算的框架，它通过一个用户指定的近似批处理原语对概率后验进行流式更新，使用隐含狄利克雷分配模型对两个大规模文档集合进行了拟合，证明了其优于随机变分推理 (SVI) 的特点。

    Jul, 2013

  • 随机折叠变分贝叶斯推断用于潜在狄利克雷分配

    该研究提出了一种基于折叠变分贝叶斯推断技术的随机算法，能快速准确地从大规模数字文本信息中学习话题模型并与人交互分析。

    May, 2013

  • 具有随机结构均值场变分推理的 Beta 流程非负矩阵分解

    本文从贝塔过程的角度，推导了一种针对具有 Poisson 分布似然函数的非负矩阵分解 (NMF) 模型的结构均场变分推理算法，并利用最近开发的随机结构均场变分推理方法来恢复潜在变量之间的依赖关系，并在合成和真实数据上进行了初步的实验验证。

    Nov, 2014

  • HDP 的实用化折叠随机变分推断

    本研究探索了一种基于随机变分贝叶斯推断的层次狄利克雷过程主题模型的折叠式推断方法，该算法易于实现并考虑了超参数的推断，实验结果显示在预测性能方面有很好的提升。

    Dec, 2013