主题模型中的混合变分 / 吉布斯坍缩推理
本文提出了一种基于变分推理的贝叶斯系统发育分析方法,应用分支分离贝叶斯网络与合适的变分分布通过随机梯度上升来训练,实践表明该方法既能获得高效率的探索机制,也可以提供与 MCMC 相当的性能。
Apr, 2022
本文探讨不同近似推断方法(Markov chain Monte Carlo 和变分推断)的优缺点,并提出一种分布来衡量它们之间的差距,其示例介绍了如何从这个分布中采样,以便在现有方法(基于 Langevin 动力学和随机梯度变分推断)之间进行加权插值。
Jun, 2017
本研究探索了一种基于随机变分贝叶斯推断的层次狄利克雷过程主题模型的折叠式推断方法,该算法易于实现并考虑了超参数的推断,实验结果显示在预测性能方面有很好的提升。
Dec, 2013
本文综述了变分推断中的最新趋势,介绍了标准的均值场变分推断,然后回顾了最近的进展,包括可扩展的 VI,通用的 VI,准确的 VI 以及摊余的 VI,并提供有关未来研究方向的总结。
Nov, 2017
本研究开发了基于随机变分推断的可伸缩算法,用于逼近后验概率分布,并且针对一类大规模的概率模型进行了技术开发;对两个概率主题模型进行了演示并应用于大量文献数据的分析,其中包括自然杂志、《纽约时报》和维基百科,结果表明随机变分推断可轻松处理大型数据集并优于传统变分推断,并且表明贝叶斯非参数主题模型优于参数主题模型;因此基于随机变分推断的算法可以将复杂的贝叶斯模型应用于大规模的数据集。
Jun, 2012
通过优化固定协方差和常值权重的高斯混合模型,将变分推断(Variational Inference)视为最小化平滑相对熵,研究其在非高斯情况下的理论性质,包括梯度下降和粒子系统优化。
Jun, 2024
本文介绍了一种新型的高效样本推断框架,变分贝叶斯蒙特卡罗(VBMC),可用于难以处理的黑盒似然的后验分布和模型评估。该方法结合了变分推断和基于高斯过程的主动采样贝叶斯积分,并在合成和实际数据的测试中表现出很好的性能。
Oct, 2018
本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法,可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法,特别是在大型数据集下具有较好的表现,且已经在实验上得到了验证。
Dec, 2013
通过大规模实验,我们展示了变分推断是 GARCH-like 模型中贝叶斯学习的一种可靠且具有竞争力的方法,证明了它是一种吸引人的、相当精确且可行的替代蒙特卡洛采样的方法。
Oct, 2023