Jun, 2017

可扩展的多分类高斯过程分类：基于期望传播

PDF
TL;DR本文介绍了一种期望传递（Expectation Propagation，EP）方法，用于具有高斯过程的多类别分类，可以适应大规模数据集。此方法可以通过随机梯度和小批次进行有效的培训，并且可以在数据实例数量 N 上进行计算成本，而不受其影响。此外，拟合推断过程中的额外假设使得内存成本与 N 无关。与使用变分推断近似所需计算的替代方法进行实证比较，结果表明，该方法表现出类似或甚至比这些技术更好的表现。
expectation propagation methodmulti-class classificationgaussian processesstochastic gradientslarge datasets
发现论文，激发创造
  • 基于期望传播的可扩展高斯过程分类

    本文提出了一种使用期望传播方法高效地训练高斯过程分类器的方法，以应对大型数据集的训练需求；此方法可用于分布式训练和使用梯度的随机逼近最大化边缘似然估计。实验证明其与使用变分方法相比是有竞争力的。

    Jul, 2015

  • 近似推理的期望传播：自由概率框架

    本文研究了期望传播方法在广义线性模型下的渐近特性，并通过自由概率理论提出了一种计算复杂度更低的方法，对于具有渐近自由特性的数据矩阵可以有效应用于微阵列数据的基因选择问题。

    Jan, 2018

  • 大数据极限下的期望传播

    本研究针对 Expectation Propagation 和其依托的高斯近似方法进行研究，提出了一个操作参数空间更小的变体 averaged-EP，并在数据充分、后验近似为高斯分布的极限情况下证明了 EP 是渐近精确的，迭代行为类似于 Newton 算法，但也可能像 Newton 算法一样因初始误差导致发散。我们的研究进一步促进了对此重要算法理论性质的研究。

    Mar, 2015

  • 随机期望传递

    本文提出了一种名为随机期望传播的方法，它在维护全局后验概率近似同时采取局部化更新，用于大规模数据设置中的近似贝叶斯学习，能够几乎与完整的期望传播方法相媲美，但是将其内存消耗降低了 N 倍。

    Jun, 2015

  • 高斯概率和期望传递

    研究了期望传播算法在高斯积分问题解法中的应用，发现在矩形积分区域中，期望传播算法的近似值是非常精确的。虽然在多面体积分区域中它的答案通常是准确的，但我们发现在这种多面体情况下，期望传播算法的答案几乎完全是错误的，这些结果揭示出了期望传播算法的一个有趣且不明显的特征。

    Nov, 2011

  • 无畏的期望传播中的随机性

    基于期望传播的算法在概率模型的近似推断中进行 Moment 匹配更新，通过单个样本进行蒙特卡洛估计，提供了稳定性和效率的改进。

    Jun, 2024

  • 高斯过程伪点逼近的统一框架：功率期望传递

    本文提出了一种新的伪点近似框架，使用 Power Expectation Propagation (Power EP) 将多种伪点近似统一起来，所有的近似都在 “推理时间” 而不是 “模型时间” 完成，实现了回归和分类任务上性能优于当前方法的新的伪点近似方法。

    May, 2016

  • 状态空间期望传播：时态高斯过程的高效推断方案

    本研究提出了一种在 Kalman 平滑过程中应用的简单参数更新规则，将非共轭时空高斯过程模型中的近似贝叶斯推理公式化，包括大部分推理方案，如 EP、经典 Kalman 平滑器和变分推理，并提供了这些算法的统一视角。

    Jul, 2020

  • 期望传播作为一种生活方式：基于分区数据的贝叶斯推断框架

    本文介绍一种将期望传递作为分布式贝叶斯推断的框架，避免了传统方法在本地推断时需要将先验分割的问题，提出了一般算法框架，并展示了其在分层数据和参数分区中的应用。

    Dec, 2014

  • 使用近似期望传播进行回归的深高斯过程

    本文研发了一种新的近似贝叶斯学习方案，使深高斯过程能够应用于中大规模回归问题，该方法通过近似期望传播程序和概率反向传播算法实现，对于 11 个现实世界数据集的非线性回归评估表明，它始终优于 GP 回归，几乎总是优于 Bayesian 神经网络的基于状态和采样的近似推理方法。

    Feb, 2016