无畏的期望传播中的随机性
本文提出了一种名为随机期望传播的方法,它在维护全局后验概率近似同时采取局部化更新,用于大规模数据设置中的近似贝叶斯学习,能够几乎与完整的期望传播方法相媲美,但是将其内存消耗降低了 N 倍。
Jun, 2015
本研究针对 Expectation Propagation 和其依托的高斯近似方法进行研究,提出了一个操作参数空间更小的变体 averaged-EP,并在数据充分、后验近似为高斯分布的极限情况下证明了 EP 是渐近精确的,迭代行为类似于 Newton 算法,但也可能像 Newton 算法一样因初始误差导致发散。我们的研究进一步促进了对此重要算法理论性质的研究。
Mar, 2015
本文研究了期望传播方法在广义线性模型下的渐近特性,并通过自由概率理论提出了一种计算复杂度更低的方法,对于具有渐近自由特性的数据矩阵可以有效应用于微阵列数据的基因选择问题。
Jan, 2018
本文介绍了一种期望传递(Expectation Propagation,EP)方法,用于具有高斯过程的多类别分类,可以适应大规模数据集。此方法可以通过随机梯度和小批次进行有效的培训,并且可以在数据实例数量 N 上进行计算成本,而不受其影响。此外,拟合推断过程中的额外假设使得内存成本与 N 无关。与使用变分推断近似所需计算的替代方法进行实证比较,结果表明,该方法表现出类似或甚至比这些技术更好的表现。
Jun, 2017
研究了期望传播算法在高斯积分问题解法中的应用,发现在矩形积分区域中,期望传播算法的近似值是非常精确的。虽然在多面体积分区域中它的答案通常是准确的,但我们发现在这种多面体情况下,期望传播算法的答案几乎完全是错误的,这些结果揭示出了期望传播算法的一个有趣且不明显的特征。
Nov, 2011
本研究提出了一种在 Kalman 平滑过程中应用的简单参数更新规则,将非共轭时空高斯过程模型中的近似贝叶斯推理公式化,包括大部分推理方案,如 EP、经典 Kalman 平滑器和变分推理,并提供了这些算法的统一视角。
Jul, 2020
介绍了 EP-ABC 算法,它是期望传播算法在无似然函数情况下的一种适应性算法,它具有比标准算法更快的速度和更高的精度,并且可以在没有总结统计的情况下直接逼近模型的证据。
Jul, 2011
本研究提出了一种新的确定性逼近方法 ——“期望传播”,它将两种先前的技术统一起来,即卡尔曼滤波器的扩展和贝叶斯网络中一种置信传播方法的扩展;试图恢复一个近似分布,其 KL 散度接近真实分布,并且 Experiments with Gaussian mixture models show Expectation Propagation to be convincingly better than methods with similar computational cost: Laplace's method, variational Bayes, and Monte Carlo。而期望传播还提供了一种高效的算法,用于训练贝叶斯点机分类器。
Jan, 2013
本文介绍一种将期望传递作为分布式贝叶斯推断的框架,避免了传统方法在本地推断时需要将先验分割的问题,提出了一般算法框架,并展示了其在分层数据和参数分区中的应用。
Dec, 2014
本文提出了一种新的伪点近似框架,使用 Power Expectation Propagation (Power EP) 将多种伪点近似统一起来,所有的近似都在 “推理时间” 而不是 “模型时间” 完成,实现了回归和分类任务上性能优于当前方法的新的伪点近似方法。
May, 2016