当高斯过程遇到大数据:可扩展高斯过程综述
介绍了一种基于随机变分推断方法的高斯过程模型,该方法使高斯过程模型能够应用于包含数百万数据点的数据集,并在需要执行变分推断的情况下,演示了如何将高斯过程分解为依赖于一组全局相关的引出变量的方法,并将其扩展到基于高斯过程的潜变量模型和具有非高斯似然度的模型。作者在简单玩具问题和两个真实数据集上展示了这种方法。
Sep, 2013
本文介绍了两种基于低秩协方差矩阵逼近的并行高斯过程回归方法,这两种方法可以将计算负载分布在并行机器之间以达到时间效率和可伸缩性,并经过理论分析证明了这些方法的预测性能等价于一些集中式的近似高斯过程回归方法,并且在两个真实数据集上的实证评估表明我们的并行高斯过程回归方法比其集中式对应物和全高斯过程方法具有更高的时间效率和可伸缩性,同时实现与全高斯过程方法相当的预测性能。
Aug, 2014
本文介绍了一种高效、可扩展的高斯过程(MSGP)的框架及其初步结果,该框架采用了 Kronecker 乘积和 Toeplitz 矩阵的分解并采用循环矩阵的近似,将 GP 的时间复杂度降至 O (n),测试点的预测时间复杂度降至 O (1)。
Nov, 2015
本文提出了一种可扩展的方法,利用多 GPU 并行化和线性共轭梯度等方法,仅通过矩阵乘法就可以访问核矩阵,将核矩阵乘法进行分区和分配,演示了可以在不到 2 小时内对超过一百万个点进行精确的高斯过程训练,并在规模上进行了比较,表现出显著的性能提升。
Mar, 2019
本文提出一种名为 TwinGP 的新型大规模高斯过程建模框架,采用了全局 - 局部并行的方法以及数据子集的方法来处理 GP 建模的计算瓶颈,并且将相关函数建模为全局和局部核的组合,其计算成本仅为同类 GP 建模方法的一小部分。
May, 2023
在这篇论文中,我们开发了一种可扩展的基于高斯过程的模块化元学习模型 ScaML-GP,其中的核心贡献是一个经过精心设计的多任务核函数,它实现了层次化训练和任务的可扩展性。通过在元数据上对 ScaML-GP 进行条件化,我们揭示了其模块化特性,得到一个结合了元任务高斯过程后验的测试任务先验。在合成和真实世界的元学习实验中,我们证明了 ScaML-GP 可以在少量和大量元任务中高效学习。
Dec, 2023
我们提出了一个实用且可扩展的高斯过程模型,用于大规模非线性概率回归。我们的专家混合模型在概念上简单,并以分层方式重新组合计算,以对整个高斯过程进行近似。通过封闭形式和分布式计算,可以实现高效的大规模并行化,同时保持内存消耗较小。因此,我们的模型具有处理任意大小数据集的潜力,而无需明确的稀疏逼近。我们提供了强有力的实验证据,表明我们的模型可以应用于超过数百万个数据的大数据集。因此,我们的模型有可能为一般的大规模高斯过程研究打下基础。
Dec, 2014
高斯过程在小型、结构化和相关的数据集上提供了一种有吸引力的回归方法。然而,它们的部署受到计算成本的限制,并且缺乏如何应用于复杂的低维数据集的指导。我们提出了一个框架,用于确定高斯过程在给定问题上的适用性,并建立一个强大且明确的高斯过程模型。该框架给出了有经验的高斯过程实践者的决策指南,重点关注核函数设计和计算可扩展性选项。然后,该框架用于一个冰川海拔变化的案例研究,在测试时得到更准确的结果。
Jul, 2023
本论文介绍了一种基于稀疏高斯过程回归和潜变量模型的重新参数化变分推断方法,可以有效解决大规模数据集下高斯过程模型的可扩展性问题,并在飞行数据和 MNIST 数据集上证明了其优越性。
Feb, 2014
本研究提出了一种基于最近邻预测的高斯过程回归算法,相比于现有算法,该算法具有更快的计算速度和更准确的预测结果,并且其对数据集大小和样本误差的鲁棒性更强。
Jun, 2023