We study asymptotic properties of expectation propagation (EP) -- a method
for approximate inference originally developed in the field of machine
learning. Applied to generalized linear models, EP iteratively com
本研究针对 Expectation Propagation 和其依托的高斯近似方法进行研究,提出了一个操作参数空间更小的变体 averaged-EP,并在数据充分、后验近似为高斯分布的极限情况下证明了 EP 是渐近精确的,迭代行为类似于 Newton 算法,但也可能像 Newton 算法一样因初始误差导致发散。我们的研究进一步促进了对此重要算法理论性质的研究。
本文介绍了一种期望传递(Expectation Propagation,EP)方法,用于具有高斯过程的多类别分类,可以适应大规模数据集。此方法可以通过随机梯度和小批次进行有效的培训,并且可以在数据实例数量 N 上进行计算成本,而不受其影响。此外,拟合推断过程中的额外假设使得内存成本与 N 无关。与使用变分推断近似所需计算的替代方法进行实证比较,结果表明,该方法表现出类似或甚至比这些技术更好的表现。