本文综述了变分推断中的最新趋势,介绍了标准的均值场变分推断,然后回顾了最近的进展,包括可扩展的 VI,通用的 VI,准确的 VI 以及摊余的 VI,并提供有关未来研究方向的总结。
Nov, 2017
介绍了一种利用主题模型构建线性估算器为推理设计可证明算法的方法。
May, 2016
本文研究了基于 boosting 的变分推断算法在优化视角下的收敛性质及其与经典 Frank-Wolfe 算法之间的联系,提出了收敛的充分条件,明确了算法的收敛速率和简化方法,并在概率模型和理论特性之间架起了桥梁。
Aug, 2017
本研究开发了基于随机变分推断的可伸缩算法,用于逼近后验概率分布,并且针对一类大规模的概率模型进行了技术开发;对两个概率主题模型进行了演示并应用于大量文献数据的分析,其中包括自然杂志、《纽约时报》和维基百科,结果表明随机变分推断可轻松处理大型数据集并优于传统变分推断,并且表明贝叶斯非参数主题模型优于参数主题模型;因此基于随机变分推断的算法可以将复杂的贝叶斯模型应用于大规模的数据集。
Jun, 2012
本文探讨了用于高维稀疏计数数据建模的潜在狄利克雷分析或话题模型,比较了多种学习算法,发现主要区别在于应用于计数的平滑量。在优化超参数时,算法性能的差异显著缩小,这使得我们能够选择计算效率高的方法来学习准确的主题模型。
May, 2012
这篇论文介绍了神经方法在主题建模中的应用,特别是提供可参数化分布以允许可变参数下的后向传播,同时提出了一种递归网络,能够类似于贝叶斯非参数主题模型发现数量概念上无限的主题,在 MXM Song Lyrics,20NewsGroups 和 Reuters News 数据集上得到了实验结果的证明。
Jun, 2017
通过优化固定协方差和常值权重的高斯混合模型,将变分推断(Variational Inference)视为最小化平滑相对熵,研究其在非高斯情况下的理论性质,包括梯度下降和粒子系统优化。
Jun, 2024
本文通过机器学习中的变分推断方法近似计算难以计算的概率密度,特别地,本文对变分推断的思想和现代 VI 研究中的重要问题进行了全面的讨论。
Jan, 2016
介绍了一种名为 AVITM 的新 topic model,用 autoencoded variational inference 解决了 Dirichlet 分布和 component collapsing 问题,并且推出了一种新的 topic model,ProdLDA,更容易解释。
Mar, 2017
本文介绍了一种既可证明有效,又实用的主题模型推断算法,可用于降维、探索性数据分析,速度较之前的 MCMC 算法快得多。
Dec, 2012