Oct, 2019

内核空间中的函数分布

PDF
TL;DR本文提出了一种基于函数内核的学习方法（FKL），通过将高斯过程置于谱密度上，直接推断出内核的功能后验分布，从而能够支持任何平稳内核，具有对内核值的不确定性，以及直接对内核的先验规范，而不需要复杂的初始化或人为干预。我们通过椭圆切片采样进行推断，这对于较强相关性先验的函数空间建模尤其适用。我们将我们的方法应用于非均匀、大规模、多任务和多维数据，并在插值、外推和内核恢复实验中展现了良好的性能。
发现论文，激发创造
  • 函数空间中变分推断的理解

    本文提出直接近似贝叶斯模型函数空间或预测后验分布的方法，并指出了使用 Kullback-Leibler divergence 方法的优劣，提出了基于 Bayesian linear regression 的 benchmark 方法来评估预测质量和后验近似质量。

    Nov, 2020

  • 非静态谱核

    提出了用于高斯过程回归的非平稳谱核，其谱密度由输入依赖高斯过程频率密度表面的混合物建模，实现了能够学习输入依赖和潜在长程非单调协方差（inputs-dependent and potentially long-range, non-monotonic covariances）的一族非平稳和非单调核函数，并借助模型白化和边缘概率等方法推导出有效的推理方法，证明这些核函数在建模具有非平稳特征的时间序列、图像或地理空间数据时是必要的。

    May, 2017

  • 高斯过程与非平稳傅里叶特征的空间映射

    本文介绍了一种基于傅里叶特征表示和深度学习方法的高斯过程模型，可以学习任意复杂度的非平稳协方差核直接从数据中，而不会过拟合，并且可以应用于时间序列和遥感等领域。

    Nov, 2017

  • 用于模式发现和外推的高斯过程内核

    简单的谱密度模型可以与高斯过程一起使用，以发现模式并支持外推。该方法支持各种站点协方差，但高斯过程推理仍然简单且解析，可以在多种合成和实际数据集中进行演示。

    Feb, 2013

  • 动态和非平稳环境中的基于核的函数学习

    机器学习中一个核心主题是从稀疏和嘈杂的数据中进行函数估计。本文研究了内核岭回归，并推导了在非平稳分布下的收敛条件，同时解决了可能无限次发生的随机调适情况，包括重要的探索 - 开发问题。

    Oct, 2023

  • 用于函数响应数据学习的算子值核

    本文介绍了如何在函数数据上使用再生核希尔伯特空间理论进行有监督学习和回归，扩展了基于核的学习的概念和性质，包括估计函数值函数的算法，阐述了一套严格定义的无限维算子值核，以及非线性函数数据分析的学习算法，并通过语音和音频信号处理实验进行了说明。

    Oct, 2015

  • 广义谱核

    本文提出了一族可行核函数，这些函数在有界正半定函数族中密集，通过该族函数可以准确地近似任何有界核函数，我们首先讨论了平稳核函数的情况，并提出了一族谱核函数，扩展了现有方法，如谱混合核和稀疏频谱核，进而我们推广了方法并提出了一族灵活、可行的谱核函数，证明其能够近似任何连续有界非平稳核。

    Jun, 2015

  • 一种新的可靠且简约的学习策略，由两层高斯过程构成，以解决非均匀经验相关结构

    通过将函数模型为非平稳高斯过程的样本函数，学习一对变量之间的功能关系，解决可用数据的相关结构的不均匀性问题，并在其中嵌套多个高斯过程，从而建立了两个高斯过程层的充分性。

    Apr, 2024

  • 多维函数数据的低秩协方差函数估计

    本文提出了一种新颖的在再生核希尔伯特空间（RKHS）框架下处理稀疏和稠密函数数据的非参数协方差函数估计方法，该方法可以灵活地对协方差算子和边际结构进行建模，并且可以保证生成的估计量自动具有半正定特性，并且可以融入各种光谱正则化。 Trace- norm 正则化可以促进协方差算子和边际结构的低秩，并且虽然缺乏闭合形式，但在温和的假设下，提出的估计量可以实现统一的理论结果，其收敛速度揭示了从稀疏到密集的函数数据的相变现象。 基于新的代表定理，开发了 ADMM 算法来实现 Trace- norm 正则化。 通过模拟研究和来自 Argo 项目的数据集分析，展示了所提出估计器的优异数值表现。

    Aug, 2020

  • 高斯过程的变分傅里叶特征

    本篇论文提出了一种组合变分方法和光谱表示的高斯过程近似算法，通过研究高斯过程的光谱特征和协方差，进行了相关推导和分析，并将该算法应用于 Matern 核和高维数据的处理中，结果表明该算法在计算速度和精度方面都表现出色。

    Nov, 2016