一种新的可靠且简约的学习策略,由两层高斯过程构成,以解决非均匀经验相关结构
高斯过程常用于数据的随机函数逼近和不确定性量化,在机器学习中它们表现出优秀的预测能力,尤其在数据稀缺场景下,但核函数作为高斯过程的重要构建模块,通常需要进行复杂的定制,我们通过研究代表性数据集中多种核函数的表现、性质和性能,提出了一种融合现有核函数优点的新核函数。
Sep, 2023
本论文提出了一种可以学习非线性数据特性的内核函数家族,该家族通过一种可学习的输入分区来改进先前的方法,并在各种主动学习任务中表现出出色的性能。
Mar, 2023
本文介绍了一种基于傅里叶特征表示和深度学习方法的高斯过程模型,可以学习任意复杂度的非平稳协方差核直接从数据中,而不会过拟合,并且可以应用于时间序列和遥感等领域。
Nov, 2017
机器学习中一个核心主题是从稀疏和嘈杂的数据中进行函数估计。本文研究了内核岭回归,并推导了在非平稳分布下的收敛条件,同时解决了可能无限次发生的随机调适情况,包括重要的探索 - 开发问题。
Oct, 2023
本文介绍了如何将图神经网络中的归纳偏置引入高斯过程中,以优化其在图结构数据上的预测表现,并得出了一些有趣的成员和提出了一种适用于大规模数据后验推断的协方差矩阵的近似方法,通过这些基于图的协方差矩阵,与相应的图神经网络相比,具有相似的分类和回归性能以及计算时间上的优势。
Feb, 2023
提出了一种新的非平稳高斯过程模型,它由两个高斯过程组成,分别用于捕捉全局趋势和局部细节。新的预测模型还包括一个灵活的方差模型,使其更能适应具有变化波动性的表面,并在实验设计稀疏的情况下更稳定和准确地逼近复杂表面。此外,新模型通过量化响应所关联的局部变化,还可以改善预测区间。通过几个例子展示了该新预测模型的优点。
Jan, 2013
提出了用于高斯过程回归的非平稳谱核,其谱密度由输入依赖高斯过程频率密度表面的混合物建模,实现了能够学习输入依赖和潜在长程非单调协方差(inputs-dependent and potentially long-range, non-monotonic covariances)的一族非平稳和非单调核函数,并借助模型白化和边缘概率等方法推导出有效的推理方法,证明这些核函数在建模具有非平稳特征的时间序列、图像或地理空间数据时是必要的。
May, 2017
本文提出了一种基于函数内核的学习方法(FKL),通过将高斯过程置于谱密度上,直接推断出内核的功能后验分布,从而能够支持任何平稳内核,具有对内核值的不确定性,以及直接对内核的先验规范,而不需要复杂的初始化或人为干预。我们通过椭圆切片采样进行推断,这对于较强相关性先验的函数空间建模尤其适用。我们将我们的方法应用于非均匀、大规模、多任务和多维数据,并在插值、外推和内核恢复实验中展现了良好的性能。
Oct, 2019
机器学习可靠性分析方法在计算效率和准确性方面取得了巨大的进展。本文探讨了一些理论上的最佳学习策略,并通过模拟结果验证了考虑 Kriging 相关性的最佳学习策略在减少性能函数评估次数方面优于其他学习方法。
Mar, 2024
本文探讨了低秩张量回归模型和高斯过程之间的有趣联系,证明了低秩张量回归模型本质上是学习高斯过程中的多线性核,并将低秩假设转化为约束贝叶斯推断问题。我们证明了神谕不等式,并为等效高斯过程模型推导了平均情况学习曲线。我们的研究发现低秩张量回归虽然在经验上非常成功,但高度依赖协方差函数的特征值和变量相关性。
Oct, 2017