跨域和多输出高斯过程的框架
介绍了一种新的大规模高斯过程的近似方法——高斯过程随机场,在合理精度和计算代价的前提下实现了潜在变量建模和超参数调节,并在合成空间数据和地震事件定位的真实世界应用中展示了其有效性。
Oct, 2015
利用张量列车分解为变分参数的高斯过程建模方法,实现具有数十亿个输入点培训和端到端训练的深度神经网络和高斯过程回归/分类器的最新结果优化。
Oct, 2017
本文回顾和分析了当前流行的可扩展高斯过程回归模型的局部和全局逼近方法,主要包括稀疏逼近、混合专家模型和产品专家模型,并探讨了这些模型在数据规模大的情况下的应用前景。
Jul, 2018
本文提出了一种可扩展的方法,利用多GPU并行化和线性共轭梯度等方法,仅通过矩阵乘法就可以访问核矩阵,将核矩阵乘法进行分区和分配,演示了可以在不到2小时内对超过一百万个点进行精确的高斯过程训练,并在规模上进行了比较,表现出显著的性能提升。
Mar, 2019
本文研究神经网络和高斯过程之间的关系,证明了贝叶斯神经网络的高斯后验近似等同于高斯过程的后验。在训练神经网络时,利用高斯过程的边缘似然函数来调整神经网络的超参数,得到的核函数是神经切向核。我们的工作旨在促进进一步将神经网络和高斯过程在实际应用中相结合的研究。
Jun, 2019
研究了一种加速多输出高斯过程推理和学习的方法,利用数据的充分统计量实现在正交基中的线性缩放,从而实现在实践中线性缩放,同时不会牺牲重要的表现力或需要近似。
Nov, 2019
本文提出了扩展Inter-domain Gaussian processes的Inter-domain Deep Gaussian Processes方法,基于现有的近似推理方法使用inter-domain features实现简单可扩展的近似推理。我们对各种回归任务的表现进行了评估,并展示了它在具有全局结构和高度不稳定性的大规模实际数据集上优于浅层Inter-domain Gaussian processes和传统深度高斯过程。
Nov, 2020
本篇论文着重于解决高斯过程(GPs)对于深度神经网络(NNs)所缺乏的问题,通过介绍球形跨域特征,将处于NNs隐藏单元中的感应变量作为新型跨域变分GPs的载体,从而提高GP拟合的灵活性、数据适应性以及可伸缩性。实验结果表明,该方法的有效性得到了多个基准数据集的验证。
Apr, 2023
本文提出一种名为TwinGP的新型大规模高斯过程建模框架,采用了全局-局部并行的方法以及数据子集的方法来处理GP建模的计算瓶颈,并且将相关函数建模为全局和局部核的组合,其计算成本仅为同类GP建模方法的一小部分。
May, 2023