Dec, 2014

大规模高斯过程回归的分层专家混合模型

HTML
PDF
TL;DR我们提出了一个实用且可扩展的高斯过程模型，用于大规模非线性概率回归。我们的专家混合模型在概念上简单，并以分层方式重新组合计算，以对整个高斯过程进行近似。通过封闭形式和分布式计算，可以实现高效的大规模并行化，同时保持内存消耗较小。因此，我们的模型具有处理任意大小数据集的潜力，而无需明确的稀疏逼近。我们提供了强有力的实验证据，表明我们的模型可以应用于超过数百万个数据的大数据集。因此，我们的模型有可能为一般的大规模高斯过程研究打下基础。
发现论文，激发创造
  • 大数据的高斯过程

    介绍了一种基于随机变分推断方法的高斯过程模型，该方法使高斯过程模型能够应用于包含数百万数据点的数据集，并在需要执行变分推断的情况下，演示了如何将高斯过程分解为依赖于一组全局相关的引出变量的方法，并将其扩展到基于高斯过程的潜变量模型和具有非高斯似然度的模型。作者在简单玩具问题和两个真实数据集上展示了这种方法。

    Sep, 2013

  • 基于自动化和规范化的高斯过程融合的通用专家积

    本文提出了广义专家乘积 (gPoE) 框架，用于结合多个概率模型的预测，通过分析和实验证明，Gaussian processes 一般的gPoE具有可伸缩性、表达力和鲁棒性，同时是现有的组合方案无法同时满足的。

    Oct, 2014

  • 大数据的并行高斯过程回归: 低秩表示遇上马尔可夫近似

    本文提出了一种低秩/马尔科夫逼近的高斯过程模型，该模型在保证预测性能的同时提高了可扩展性并且适合于在多个机器/内核上并行运行。

    Nov, 2014

  • 具有线性复杂度的高斯过程模型的变分推断

    本文提出一种新的变分高斯过程模型，将均值函数和协方差函数在再生核希尔伯特空间中表示，可通过随机梯度上升来求解，时间和空间复杂度仅与均值函数参数数量成线性关系，适用于大规模高斯过程模型和回归任务的求解。

    Nov, 2017

  • 大规模高斯过程回归的普适稳健贝叶斯委员会机

    为了扩展标准高斯过程回归到大规模数据集，聚合模型采用因子化训练过程，然后结合来自分布式专家的预测。然而，现有的聚合模型要么提供不一致的预测，要么需要耗时的聚合过程。本文对典型聚合方式使用不连续或随机数据划分的不一致性进行了证明，并提出了一种高效且一致性的大规模高斯过程聚合模型。所提出的模型继承了聚合的优点，如闭合形式推理和聚合，并行化和分布式计算。此外，理论和实证分析表明，由于预测一致，所以新的聚合模型在训练样本接近无穷大时会更加优越。

    Jun, 2018

  • 使用和积网络学习深层高斯过程专家混合模型

    本文介绍通过将高斯过程嵌入可计算的和积网络中，实现灵活的先验函数分布，从而实现计算和内存高效、容易实施后验推理的概率回归模型。

    Sep, 2018

  • 高斯过程模型推理网络的可扩展训练

    本论文使用了基于随机推理网络的镜像梯度下降算法来实现高斯过程模型的推理，该算法针对大规模数据的情况具有可扩展性和易实现性，并且在实验中取得了与现有稀疏变分高斯过程方法相当甚至更好的表现。

    May, 2019

  • 深度结构高斯过程混合模型

    本文提出了一种称为深层结构高斯过程混合专家的随机过程模型，该模型不仅可以进行确切的后验推断，而且具有吸引人的计算和内存成本，并且在作为高斯过程近似时可以比以前的近似方法更一致地捕捉预测不确定性。在各种实验中，我们展示了这种方法的低近似误差和竞争优势。

    Oct, 2019

  • 基于核棒法的高斯过程专家混合模型

    提出了一个基于核棍强过程的高斯过程专家混合模型，具有直观吸引力和改进的预测性能，可通过基于切片采样的后验计算器进行实际操作。

    Apr, 2023

  • 大规模高斯过程建模的全局-局部逼近框架

    本文提出一种名为TwinGP的新型大规模高斯过程建模框架，采用了全局-局部并行的方法以及数据子集的方法来处理GP建模的计算瓶颈，并且将相关函数建模为全局和局部核的组合，其计算成本仅为同类GP建模方法的一小部分。

    May, 2023