当高斯过程遇到大数据:可扩展高斯过程综述
提出一种基于稀疏高斯过程的框架,使用期望传播直接逼近一般高斯过程的似然函数,既包括了 SPGP 和 VSGP 用于回归的特殊情况,又兼顾了在线处理数据的能力,可用于解决分类问题。在基准数据集上的实验表明,该框架在小样本规模下,不仅能够最大程度地逼近非稀疏 GP 解,而且可降低分类错误率。
Mar, 2012
本文介绍了两种基于低秩协方差矩阵逼近的并行高斯过程回归方法,这两种方法可以将计算负载分布在并行机器之间以达到时间效率和可伸缩性,并经过理论分析证明了这些方法的预测性能等价于一些集中式的近似高斯过程回归方法,并且在两个真实数据集上的实证评估表明我们的并行高斯过程回归方法比其集中式对应物和全高斯过程方法具有更高的时间效率和可伸缩性,同时实现与全高斯过程方法相当的预测性能。
Aug, 2014
介绍了一种新的大规模高斯过程的近似方法——高斯过程随机场,在合理精度和计算代价的前提下实现了潜在变量建模和超参数调节,并在合成空间数据和地震事件定位的真实世界应用中展示了其有效性。
Oct, 2015
本文提出了一种可扩展的方法,利用多GPU并行化和线性共轭梯度等方法,仅通过矩阵乘法就可以访问核矩阵,将核矩阵乘法进行分区和分配,演示了可以在不到2小时内对超过一百万个点进行精确的高斯过程训练,并在规模上进行了比较,表现出显著的性能提升。
Mar, 2019
研究稀疏逼近方法在进行核方法和高斯过程(GPs)的大规模数据方面的连接,着重于Nyström方法和Sparse Variational Gaussian Processes (SVGP)。在回归问题的上下文中,提供一种RKHS解释SVGP逼近,并且展示了其Evidence Lower Bound 包含了Nyström逼近的目标函数,揭示了两种方法之间的代数等价性的来源。此外,研究了SVGP的最近建立的收敛结果以及它们与Nyström方法的逼近质量之间的关系。
Jun, 2021
本文针对加性Matern高斯过程,提出基于后向逼近算法的计算方法,计算后验均值、方差、似然函数和梯度的复杂性从O(n^3)降低到O(nlogn),并应用于贝叶斯优化中,提出了后验更新、超参数学习、习得函数和其梯度的有效算法。
Apr, 2023
高斯过程是机器学习工具箱中成熟且广泛使用的组成部分之一。论文提出了一种基于方法所期望的指标来比较高斯过程的近似方法的建议,并开发了一种训练过程,使用户不需要进行选择。研究结果表明,根据这些建议进行基准测试可以更清楚地了解领域的当前状况,并揭示了未来研究需要解决的问题。
Feb, 2024
本研究解决了高斯过程模型选择在训练数据集规模扩大时所带来的时间和内存问题。提出了一种新的超参数优化训练损失,能够实现线性时间缩放,加速模型选择过程,并在中到大规模数据集上超越现有的最先进方法。研究结果表明,计算感知高斯过程可以在不显著妨碍不确定性量化能力的情况下,成功训练大规模数据集,为最佳决策提供了基础。
Nov, 2024