用稀疏矩阵表示加性高斯过程
本文介绍了一种高斯过程模型,其中的函数是可加的,这种函数可分解为低维函数的总和,每个低维函数只依赖于输入变量的一个子集。该模型引入了核函数的一种表达形式,通过它可以高效地评估所有输入交互项,在回归任务中表现出具有先进性的预测能力。
Dec, 2011
提出一种基于稀疏高斯过程的框架,使用期望传播直接逼近一般高斯过程的似然函数,既包括了 SPGP 和 VSGP 用于回归的特殊情况,又兼顾了在线处理数据的能力,可用于解决分类问题。在基准数据集上的实验表明,该框架在小样本规模下,不仅能够最大程度地逼近非稀疏 GP 解,而且可降低分类错误率。
Mar, 2012
本文提出了一种新的稀疏高斯过程模型,它包含两个加性组件:全局稀疏近似和具有紧支撑协方差函数的协方差函数,我们使用实际数据集表明,与全局稀疏近似和部分独立条件(PIC)逼近相比,我们的模型在具有两个加性现象的数据集中表现出色。
Jun, 2012
本研究提出了一种新的贝叶斯方法——EigenGP,它在稀疏有限模型中学习基础词典元素——高斯过程的特征函数和先验精度。通过最大化模型边缘似然函数,从数据中学习基础词典元素和相应的先验精度,以及所有其他超参数。与其他稀疏贝叶斯有限模型不同,本方法中的特征函数作为核函数的有限线性组合存在于再生核希尔伯特空间中。实验结果表明EigenGP具有比其他稀疏高斯过程方法及相关向量机更优秀的预测性能。
Jan, 2014
本文回顾和分析了当前流行的可扩展高斯过程回归模型的局部和全局逼近方法,主要包括稀疏逼近、混合专家模型和产品专家模型,并探讨了这些模型在数据规模大的情况下的应用前景。
Jul, 2018
该研究提出了一种使用PAC-Bayesian边界来直接优化GPs及其稀疏逼近的方法,相比于最大化边缘似然的常规方法,该方法具有更好的稳健性和泛化性能,并在多个回归基准数据集上获得了显着的泛化保证。
Oct, 2018
该研究提出了一种新的互域变分高斯过程模型,使用球谐表示法将数据映射到单位超球面上,并采用类似变分傅里叶特征的推理方案,这使得模型能够在保持最先进准确度的同时,比标准稀疏高斯过程模型快出两个数量级拟合具有600万个条目的回归模型,并在具有非共轭似然函数的分类问题上展现出有竞争力的性能。
Jun, 2020
研究稀疏逼近方法在进行核方法和高斯过程(GPs)的大规模数据方面的连接,着重于Nyström方法和Sparse Variational Gaussian Processes (SVGP)。在回归问题的上下文中,提供一种RKHS解释SVGP逼近,并且展示了其Evidence Lower Bound 包含了Nyström逼近的目标函数,揭示了两种方法之间的代数等价性的来源。此外,研究了SVGP的最近建立的收敛结果以及它们与Nyström方法的逼近质量之间的关系。
Jun, 2021
本文提出了一种将高斯过程映射到基于B样条基函数的一组函数上的新的跨域变分高斯过程。该方法的关键优势在于B样条基函数具有紧凑支持,可以采用稀疏线性代数来加速矩阵运算并显着减少内存占用,从而实现高效地对快速变化的空间现象进行建模,涉及数万个感应变量。
Apr, 2023