Oct, 2023

无均值回归的平稳性：不正规高斯过程回归和不正规核函数

HTML
PDF
TL;DR使用不正规的高斯过程先验可以定义比较平稳但不回均值的过程，我们引入了一类大量的不正规核函数，这些不正规核函数只能在不正规的情况下定义，其中包括产生无限平滑样本的平滑随机行走核函数，以及可以定义为任意整数次可微的不正规马特尔核函数，通过分析合成数据和真实数据，我们证明了这些不正规核函数解决了一些回均值高斯过程回归的已知病态问题，同时保留了大多数普通平稳核函数的有利特性。
发现论文，激发创造
  • 用于模式发现和外推的高斯过程内核

    简单的谱密度模型可以与高斯过程一起使用，以发现模式并支持外推。该方法支持各种站点协方差，但高斯过程推理仍然简单且解析，可以在多种合成和实际数据集中进行演示。

    Feb, 2013

  • 非静态谱核

    提出了用于高斯过程回归的非平稳谱核，其谱密度由输入依赖高斯过程频率密度表面的混合物建模，实现了能够学习输入依赖和潜在长程非单调协方差（inputs-dependent and potentially long-range, non-monotonic covariances）的一族非平稳和非单调核函数，并借助模型白化和边缘概率等方法推导出有效的推理方法，证明这些核函数在建模具有非平稳特征的时间序列、图像或地理空间数据时是必要的。

    May, 2017

  • 潜在高斯过程回归

    介绍了一种名为潜在高斯过程回归的方法，可以扩展输入空间，使用潜在变量来调制协方差函数以处理多模态和非平稳过程的回归问题，并在合成数据和实际应用中进行了验证。

    Jul, 2017

  • 多输出高斯过程的谱混合核函数

    提出了基于复值交叉频谱密度的参数化多元协方差函数，实现对通道之间时间延迟和相位差异的建模，进而提高了模型的表达能力。该方法在合成数据和真实数据集上进行了验证和比较。

    Sep, 2017

  • 高斯过程和核方法：联系和等价性的综述

    研究正定核的两种广泛使用的方法之间的差距，即贝叶斯学习或使用高斯过程进行推理和基于再生核希尔伯特空间的频率核方法，参考新旧结果和概念并比较算法数量和哲学理论差异。

    Jul, 2018

  • 核回归中的泛化误差率：从无噪音到有噪音的转变

    本研究旨在探讨在高斯设计下的核岭回归(KRR)。我们研究了噪声和正则化之间的相互作用对异常泛化误差的影响，对各种交叉设置进行了表征，并展示了在样本复杂性增加时从无噪声指数到噪声值之间存在过渡。最后，我们证明了这种交叉行为在现实数据集上也是可观测的。

    May, 2021

  • 深入的高斯过程的非稳态卷积核的统一视角

    高斯过程常用于数据的随机函数逼近和不确定性量化，在机器学习中它们表现出优秀的预测能力，尤其在数据稀缺场景下，但核函数作为高斯过程的重要构建模块，通常需要进行复杂的定制，我们通过研究代表性数据集中多种核函数的表现、性质和性能，提出了一种融合现有核函数优点的新核函数。

    Sep, 2023

  • 高斯过程模型的可辨识性和可解释性研究

    本文对使用Matern核的加法混合在单输出高斯过程模型中的常见做法进行了批判性分析，并研究了Matern核的乘法混合在多输出高斯过程模型中的特性。通过一系列理论结果，我们推导出对于单输出情况，Matern核的平滑性由最不平滑的成分决定，并且具有这样一个内核的高斯过程等效于最不平滑的核成分。此外，我们证明了各个核组件中的混合权重或参数都不可辨。随后，我们转向多输出高斯过程模型，并分析了乘法核中协方差矩阵A的可辨识性，其中K(x, y) = AK_0(x, y) ，K_0是标准的单输出核，比如Matern核。我们展示了A可辨识，但具有多个倍数常数的特性，这表明乘法混合非常适用于多输出任务。我们的发现得到了对单输出和多输出情况的大量模拟和实际应用的支持。这项研究为高斯过程模型的核选择和解释提供了洞察，强调了在不同任务中选择适当的核结构的重要性。

    Oct, 2023

  • 高斯过程的协方差核采样路径规律

    通过对协方差核函数进行充分的必要条件判断，我们揭示了高斯过程的样本路径达到特定规则的条件，并证明了这些结果对机器学习中常用的Matern高斯过程等样本路径规则的特征提供了新颖而紧凑的描述。

    Dec, 2023

  • 高效的双阶高斯过程回归——自动核搜索和子采样

    通过引入灵活的两阶段高斯过程回归框架、自动核搜索算法、子采样启动策略和精确与可伸缩两种方法，本研究提出了一种泛用框架来解决GPR中的表示偏差、核函数错误和超参数错误问题，并在真实世界数据集上进行了广泛评估，验证了方法的鲁棒性和精确性。

    May, 2024