Dec, 2023

高斯过程的协方差核采样路径规律

HTML
PDF
TL;DR通过对协方差核函数进行充分的必要条件判断，我们揭示了高斯过程的样本路径达到特定规则的条件，并证明了这些结果对机器学习中常用的Matern高斯过程等样本路径规则的特征提供了新颖而紧凑的描述。
发现论文，激发创造
  • 用于模式发现和外推的高斯过程内核

    简单的谱密度模型可以与高斯过程一起使用，以发现模式并支持外推。该方法支持各种站点协方差，但高斯过程推理仍然简单且解析，可以在多种合成和实际数据集中进行演示。

    Feb, 2013

  • 流形高斯过程回归

    本研究提出了一种新的监督学习方法，Manifold Gaussian Processes，该方法通过联合学习将数据转换为特征空间，并从特征空间到观测空间建立了GP回归模型，实验结果表明该方法适用于包括非光滑函数和机器人任务等不规则函数。

    Feb, 2014

  • 小数据学习的概率嵌入深度核方法

    通过使用概率神经网络学习概率嵌入深核，我们可以解决高维数据的表示学习和数据效率之间的问题， 实验结果表明，我们的方法在监督和半监督学习中均优于现有的高斯过程核方法，并且扩展到其他小数据范例，在mini-Imagenet和CUB数据集上胜过先前的方法。

    Oct, 2019

  • 高斯过程均值在误规定条件和平稳性下的收敛保证

    本文研究高斯过程在模型不精确的情况下对函数均值的影响，并阐述了如何通过实验设计和核函数参数的选择来减少模型误差。

    Jan, 2020

  • 高斯过程的路径条件化

    研究高斯过程的路径条件下的条件概率，给出了一类高效（具有多种应用背景，例如全局优化和强化学习）的近似方法。

    Nov, 2020

  • Nyström 方法与稀疏变分高斯过程之间的联系和等价性

    研究稀疏逼近方法在进行核方法和高斯过程（GPs）的大规模数据方面的连接，着重于Nyström方法和Sparse Variational Gaussian Processes （SVGP）。在回归问题的上下文中，提供一种RKHS解释SVGP逼近，并且展示了其Evidence Lower Bound 包含了Nyström逼近的目标函数，揭示了两种方法之间的代数等价性的来源。此外，研究了SVGP的最近建立的收敛结果以及它们与Nyström方法的逼近质量之间的关系。

    Jun, 2021

  • 深入的高斯过程的非稳态卷积核的统一视角

    高斯过程常用于数据的随机函数逼近和不确定性量化，在机器学习中它们表现出优秀的预测能力，尤其在数据稀缺场景下，但核函数作为高斯过程的重要构建模块，通常需要进行复杂的定制，我们通过研究代表性数据集中多种核函数的表现、性质和性能，提出了一种融合现有核函数优点的新核函数。

    Sep, 2023

  • 无均值回归的平稳性：不正规高斯过程回归和不正规核函数

    使用不正规的高斯过程先验可以定义比较平稳但不回均值的过程，我们引入了一类大量的不正规核函数，这些不正规核函数只能在不正规的情况下定义，其中包括产生无限平滑样本的平滑随机行走核函数，以及可以定义为任意整数次可微的不正规马特尔核函数，通过分析合成数据和真实数据，我们证明了这些不正规核函数解决了一些回均值高斯过程回归的已知病态问题，同时保留了大多数普通平稳核函数的有利特性。

    Oct, 2023

  • 核心数据包的统一理论：从状态空间模型到紧支撑基础

    用状态空间模型研究高斯过程，引入了右KP和左KP的概念，进一步得到多个紧支持KP函数，从而将高斯过程的预测时间降低到O(log n)或者O(1)，并且可以应用到涉及高斯过程导数的更一般问题。

    Feb, 2024

  • 近似高斯过程的基准线和基准测试建议

    高斯过程是机器学习工具箱中成熟且广泛使用的组成部分之一。论文提出了一种基于方法所期望的指标来比较高斯过程的近似方法的建议，并开发了一种训练过程，使用户不需要进行选择。研究结果表明，根据这些建议进行基准测试可以更清楚地了解领域的当前状况，并揭示了未来研究需要解决的问题。

    Feb, 2024