深入的高斯过程的非稳态卷积核的统一视角
提出一种基于稀疏高斯过程的框架,使用期望传播直接逼近一般高斯过程的似然函数,既包括了 SPGP 和 VSGP 用于回归的特殊情况,又兼顾了在线处理数据的能力,可用于解决分类问题。在基准数据集上的实验表明,该框架在小样本规模下,不仅能够最大程度地逼近非稀疏 GP 解,而且可降低分类错误率。
Mar, 2012
简单的谱密度模型可以与高斯过程一起使用,以发现模式并支持外推。该方法支持各种站点协方差,但高斯过程推理仍然简单且解析,可以在多种合成和实际数据集中进行演示。
Feb, 2013
提出了用于高斯过程回归的非平稳谱核,其谱密度由输入依赖高斯过程频率密度表面的混合物建模,实现了能够学习输入依赖和潜在长程非单调协方差(inputs-dependent and potentially long-range, non-monotonic covariances)的一族非平稳和非单调核函数,并借助模型白化和边缘概率等方法推导出有效的推理方法,证明这些核函数在建模具有非平稳特征的时间序列、图像或地理空间数据时是必要的。
May, 2017
研究正定核的两种广泛使用的方法之间的差距,即贝叶斯学习或使用高斯过程进行推理和基于再生核希尔伯特空间的频率核方法,参考新旧结果和概念并比较算法数量和哲学理论差异。
Jul, 2018
研究稀疏逼近方法在进行核方法和高斯过程(GPs)的大规模数据方面的连接,着重于Nyström方法和Sparse Variational Gaussian Processes (SVGP)。在回归问题的上下文中,提供一种RKHS解释SVGP逼近,并且展示了其Evidence Lower Bound 包含了Nyström逼近的目标函数,揭示了两种方法之间的代数等价性的来源。此外,研究了SVGP的最近建立的收敛结果以及它们与Nyström方法的逼近质量之间的关系。
Jun, 2021
本文提出了一种基于物理学论证的混合频谱方法来生成协方差核,用于导出一种新型的地理时间相关的、具有物理意义的不可分离协方差核,并研究了它们的性质。
Feb, 2023
使用不正规的高斯过程先验可以定义比较平稳但不回均值的过程,我们引入了一类大量的不正规核函数,这些不正规核函数只能在不正规的情况下定义,其中包括产生无限平滑样本的平滑随机行走核函数,以及可以定义为任意整数次可微的不正规马特尔核函数,通过分析合成数据和真实数据,我们证明了这些不正规核函数解决了一些回均值高斯过程回归的已知病态问题,同时保留了大多数普通平稳核函数的有利特性。
Oct, 2023
通过混合概率学习方法,我们介绍了一种基于高斯过程的开源库GP+,该库建立在PyTorch之上,具有用户友好性和面向对象的特点,用于概率学习和推理。我们还提出了融合非线性流形学习技术和高斯过程的协方差和均值函数的方法,并通过多个实例展示了GP+相对于其他GP建模库的独特优势。同时,我们还向GP+引入了能够进行概率数据融合和参数逆向估计的方法贡献以及在分类和定量变量混合特征空间上拥有节约参数的均值函数。我们在贝叶斯优化、多精度模型、灵敏度分析和计算机模型的校准等领域展示了这些贡献的重要影响。
Dec, 2023
通过对协方差核函数进行充分的必要条件判断,我们揭示了高斯过程的样本路径达到特定规则的条件,并证明了这些结果对机器学习中常用的Matern高斯过程等样本路径规则的特征提供了新颖而紧凑的描述。
Dec, 2023
通过将函数模型为非平稳高斯过程的样本函数,学习一对变量之间的功能关系,解决可用数据的相关结构的不均匀性问题,并在其中嵌套多个高斯过程,从而建立了两个高斯过程层的充分性。
Apr, 2024