Dec, 2015

带随机自然梯度期望传播和后验服务器的分布式贝叶斯学习

PDF
TL;DR本文提出两个方法，一是基于自然梯度的随机变分推断算法，二是一种创新的后验服务器方法，该方法可以实现在分段存储的数据集上进行可扩展和稳健的贝叶斯学习。
distributed learningbayesian learningvariational inferencenatural gradientposterior server
发现论文，激发创造
  • 随机期望传递

    本文提出了一种名为随机期望传播的方法，它在维护全局后验概率近似同时采取局部化更新，用于大规模数据设置中的近似贝叶斯学习，能够几乎与完整的期望传播方法相媲美，但是将其内存消耗降低了 N 倍。

    Jun, 2015

  • 一种高效的基于顺序神经后验估计的无似然贝叶斯推断方法

    SNPE-B 是一种用于模拟为基础模型的顺序神经后验估计技术，本文提出了改进的方法，包括使用自适应校准核的集中损失函数和方差降低技术，以提高数据效率并加快学习过程。实验结果表明，我们的方法在某些任务上表现优于原始方法和其他竞争方法。

    Nov, 2023

  • 期望传播作为一种生活方式：基于分区数据的贝叶斯推断框架

    本文介绍一种将期望传递作为分布式贝叶斯推断的框架，避免了传统方法在本地推断时需要将先验分割的问题，提出了一般算法框架，并展示了其在分层数据和参数分区中的应用。

    Dec, 2014

  • 无畏的期望传播中的随机性

    基于期望传播的算法在概率模型的近似推断中进行 Moment 匹配更新，通过单个样本进行蒙特卡洛估计，提供了稳定性和效率的改进。

    Jun, 2024

  • 可扩展的多分类高斯过程分类：基于期望传播

    本文介绍了一种期望传递（Expectation Propagation，EP）方法，用于具有高斯过程的多类别分类，可以适应大规模数据集。此方法可以通过随机梯度和小批次进行有效的培训，并且可以在数据实例数量 N 上进行计算成本，而不受其影响。此外，拟合推断过程中的额外假设使得内存成本与 N 无关。与使用变分推断近似所需计算的替代方法进行实证比较，结果表明，该方法表现出类似或甚至比这些技术更好的表现。

    Jun, 2017

  • 大数据极限下的期望传播

    本研究针对 Expectation Propagation 和其依托的高斯近似方法进行研究，提出了一个操作参数空间更小的变体 averaged-EP，并在数据充分、后验近似为高斯分布的极限情况下证明了 EP 是渐近精确的，迭代行为类似于 Newton 算法，但也可能像 Newton 算法一样因初始误差导致发散。我们的研究进一步促进了对此重要算法理论性质的研究。

    Mar, 2015

  • 稀疏先验期望传播神经网络

    本文介绍了一种非线性回归的新方法，使用具有稀疏性偏好的分层先验的两层神经网络模型结构。作者运用期望传播（EP）方法来近似计算权重、先验层级比例系数以及残差层级比例系数的后验分布，并提出了一种可扩展的方法来定义具有不同稀疏属性的权重先验。作者以模拟和真实世界数据为例，评估了方法的预测性能和层级先验的影响。

    Mar, 2013

  • 基于期望传播的可扩展高斯过程分类

    本文提出了一种使用期望传播方法高效地训练高斯过程分类器的方法，以应对大型数据集的训练需求；此方法可用于分布式训练和使用梯度的随机逼近最大化边缘似然估计。实验证明其与使用变分方法相比是有竞争力的。

    Jul, 2015

  • 近似推理的期望传播：自由概率框架

    本文研究了期望传播方法在广义线性模型下的渐近特性，并通过自由概率理论提出了一种计算复杂度更低的方法，对于具有渐近自由特性的数据矩阵可以有效应用于微阵列数据的基因选择问题。

    Jan, 2018

  • 面向贝叶斯非参数模型的流式分布式变分推断

    提出了一种用于创建基于贝叶斯非参数模型的流式分布式推理算法的方法，其中处理节点接收数据小批量序列，为每个小批量计算变分后验，并对中央模型进行异步流式更新。

    Oct, 2015