Aug, 2014

低秩协方差矩阵逼近的并行高斯过程回归

PDF
TL;DR本文介绍了两种基于低秩协方差矩阵逼近的并行高斯过程回归方法，这两种方法可以将计算负载分布在并行机器之间以达到时间效率和可伸缩性，并经过理论分析证明了这些方法的预测性能等价于一些集中式的近似高斯过程回归方法，并且在两个真实数据集上的实证评估表明我们的并行高斯过程回归方法比其集中式对应物和全高斯过程方法具有更高的时间效率和可伸缩性，同时实现与全高斯过程方法相当的预测性能。
gaussian processesparallelizationregressionscalabilitylow-rank covariance matrix
发现论文，激发创造
  • 大数据的并行高斯过程回归：低秩表示遇上马尔可夫近似

    本文提出了一种低秩 / 马尔科夫逼近的高斯过程模型，该模型在保证预测性能的同时提高了可扩展性并且适合于在多个机器 / 内核上并行运行。

    Nov, 2014

  • 张量回归遇见高斯过程

    本文探讨了低秩张量回归模型和高斯过程之间的有趣联系，证明了低秩张量回归模型本质上是学习高斯过程中的多线性核，并将低秩假设转化为约束贝叶斯推断问题。我们证明了神谕不等式，并为等效高斯过程模型推导了平均情况学习曲线。我们的研究发现低秩张量回归虽然在经验上非常成功，但高度依赖协方差函数的特征值和变量相关性。

    Oct, 2017

  • 高斯过程的尴尬并行推断

    该研究使用混合专家模型代替传统高斯模型，在降低计算成本的同时，提高了模型的弹性和可伸缩性。

    Feb, 2017

  • 稀疏高斯过程回归和潜变量模型的分布式变分推断

    本论文介绍了一种基于稀疏高斯过程回归和潜变量模型的重新参数化变分推断方法，可以有效解决大规模数据集下高斯过程模型的可扩展性问题，并在飞行数据和 MNIST 数据集上证明了其优越性。

    Feb, 2014

  • 当高斯过程遇到大数据：可扩展高斯过程综述

    本文回顾和分析了当前流行的可扩展高斯过程回归模型的局部和全局逼近方法，主要包括稀疏逼近、混合专家模型和产品专家模型，并探讨了这些模型在数据规模大的情况下的应用前景。

    Jul, 2018

  • 贝叶斯回归和分类高斯过程模型的蒙特卡罗实现

    本文提出了使用高斯过程模型来进行非参数回归，分类等任务，通过使用马尔科夫链方法对高斯过程的协方差函数的超参数进行采样，可以发现数据的高级特性并实现预测响应所需输入的相关性。

    Jan, 1997

  • 高斯过程的恒定时间预测分布

    本文提出一种基于 Lanczos 算法的方法 LOVE（LanczOs Variance Estimates）来解决高斯过程回归的计算瓶颈，大大提高了协方差的计算效率和采样速度。

    Mar, 2018

  • 低秩高斯 Copula 过程的高维多元预测

    本文提出使用基于 RNN 的时间序列模型与带有低秩协方差结构的高斯联合分布过程输出模型相结合，以减少计算复杂度和处理非高斯边际分布，并在多个真实数据集上证明其性能优于现有方法。

    Oct, 2019

  • 潜在高斯过程回归

    介绍了一种名为潜在高斯过程回归的方法，可以扩展输入空间，使用潜在变量来调制协方差函数以处理多模态和非平稳过程的回归问题，并在合成数据和实际应用中进行了验证。

    Jul, 2017

  • 百万数据点上的精确高斯过程

    本文提出了一种可扩展的方法，利用多 GPU 并行化和线性共轭梯度等方法，仅通过矩阵乘法就可以访问核矩阵，将核矩阵乘法进行分区和分配，演示了可以在不到 2 小时内对超过一百万个点进行精确的高斯过程训练，并在规模上进行了比较，表现出显著的性能提升。

    Mar, 2019