高斯过程的尴尬并行推断
我们提出了一个实用且可扩展的高斯过程模型,用于大规模非线性概率回归。我们的专家混合模型在概念上简单,并以分层方式重新组合计算,以对整个高斯过程进行近似。通过封闭形式和分布式计算,可以实现高效的大规模并行化,同时保持内存消耗较小。因此,我们的模型具有处理任意大小数据集的潜力,而无需明确的稀疏逼近。我们提供了强有力的实验证据,表明我们的模型可以应用于超过数百万个数据的大数据集。因此,我们的模型有可能为一般的大规模高斯过程研究打下基础。
Dec, 2014
本文介绍了两种基于低秩协方差矩阵逼近的并行高斯过程回归方法,这两种方法可以将计算负载分布在并行机器之间以达到时间效率和可伸缩性,并经过理论分析证明了这些方法的预测性能等价于一些集中式的近似高斯过程回归方法,并且在两个真实数据集上的实证评估表明我们的并行高斯过程回归方法比其集中式对应物和全高斯过程方法具有更高的时间效率和可伸缩性,同时实现与全高斯过程方法相当的预测性能。
Aug, 2014
本论文使用了基于随机推理网络的镜像梯度下降算法来实现高斯过程模型的推理,该算法针对大规模数据的情况具有可扩展性和易实现性,并且在实验中取得了与现有稀疏变分高斯过程方法相当甚至更好的表现。
May, 2019
本文提出一种新的变分高斯过程模型,将均值函数和协方差函数在再生核希尔伯特空间中表示,可通过随机梯度上升来求解,时间和空间复杂度仅与均值函数参数数量成线性关系,适用于大规模高斯过程模型和回归任务的求解。
Nov, 2017
在高维情况下,使用平滑分析方法可以在多项式时间内使用多项式数量的样本学习带有随机扰动参数的高斯混合模型,通过利用高斯分布的高阶矩的组合结构并推导其对称性,探索新的高斯混合物的时刻张量的分解方法以及构建结构化随机矩阵的奇异值的下界。
Mar, 2015
本论文介绍了一种扩展了高斯过程模型的并行化和 GPU 加速方案,通过将模块化的计算结构与数据点相结合,解决了计算瓶颈问题,并将其代码集成到受欢迎的软件库 GPy 中。
Oct, 2014
本文研究在数据的概率模型中推断一个潜在函数的问题,并探究了基于马尔可夫链蒙特卡罗采样的高效计算方法在大型数据集上的可行性,提出了一种近似方法,使潜在变量和相关参数的顺序采样能够有效地处理增长数据设置,证明了其在无序、非顺序采样下不可行的情况下的强大性能。
Jul, 2018
本文提出了一种低秩 / 马尔科夫逼近的高斯过程模型,该模型在保证预测性能的同时提高了可扩展性并且适合于在多个机器 / 内核上并行运行。
Nov, 2014
本文提出了一种可扩展的方法,利用多 GPU 并行化和线性共轭梯度等方法,仅通过矩阵乘法就可以访问核矩阵,将核矩阵乘法进行分区和分配,演示了可以在不到 2 小时内对超过一百万个点进行精确的高斯过程训练,并在规模上进行了比较,表现出显著的性能提升。
Mar, 2019