Yingzhen Li, Jose Miguel Hernandez-Lobato, Richard E. Turner
TL;DR本文提出了一种名为随机期望传播的方法，它在维护全局后验概率近似同时采取局部化更新，用于大规模数据设置中的近似贝叶斯学习，能够几乎与完整的期望传播方法相媲美，但是将其内存消耗降低了 N 倍。
Abstract
expectation propagation (EP) is a deterministic approximation algorithm that
is often used to perform approximate bayesian parameter learning. EP
approximates the full intractable posterior distribution through a
本研究针对 Expectation Propagation 和其依托的高斯近似方法进行研究，提出了一个操作参数空间更小的变体 averaged-EP，并在数据充分、后验近似为高斯分布的极限情况下证明了 EP 是渐近精确的，迭代行为类似于 Newton 算法，但也可能像 Newton 算法一样因初始误差导致发散。我们的研究进一步促进了对此重要算法理论性质的研究。
本文介绍了一种期望传递（Expectation Propagation，EP）方法，用于具有高斯过程的多类别分类，可以适应大规模数据集。此方法可以通过随机梯度和小批次进行有效的培训，并且可以在数据实例数量 N 上进行计算成本，而不受其影响。此外，拟合推断过程中的额外假设使得内存成本与 N 无关。与使用变分推断近似所需计算的替代方法进行实证比较，结果表明，该方法表现出类似或甚至比这些技术更好的表现。
本研究提出了一种新的确定性逼近方法 ——“期望传播”，它将两种先前的技术统一起来，即卡尔曼滤波器的扩展和贝叶斯网络中一种置信传播方法的扩展；试图恢复一个近似分布，其 KL 散度接近真实分布，并且 Experiments with Gaussian mixture models show Expectation Propagation to be convincingly better than methods with similar computational cost: Laplace's method, variational Bayes, and Monte Carlo。而期望传播还提供了一种高效的算法，用于训练贝叶斯点机分类器。