IJCAIJan, 2014

EigenGP: 自适应特征函数高斯过程模型

PDF
TL;DR本研究提出了一种新的贝叶斯方法 ——EigenGP，它在稀疏有限模型中学习基础词典元素 —— 高斯过程的特征函数和先验精度。通过最大化模型边缘似然函数，从数据中学习基础词典元素和相应的先验精度，以及所有其他超参数。与其他稀疏贝叶斯有限模型不同，本方法中的特征函数作为核函数的有限线性组合存在于再生核希尔伯特空间中。实验结果表明 EigenGP 具有比其他稀疏高斯过程方法及相关向量机更优秀的预测性能。
gaussian processesbayesian approachsparse finite modeleigenfunctionspredictive performance
发现论文，激发创造
  • 一般似然函数的稀疏后验高斯过程

    提出一种基于稀疏高斯过程的框架，使用期望传播直接逼近一般高斯过程的似然函数，既包括了 SPGP 和 VSGP 用于回归的特殊情况，又兼顾了在线处理数据的能力，可用于解决分类问题。在基准数据集上的实验表明，该框架在小样本规模下，不仅能够最大程度地逼近非稀疏 GP 解，而且可降低分类错误率。

    Mar, 2012

  • 对降秩高斯过程回归的希尔伯特空间方法

    本文针对高斯过程回归的降维问题，提出了一种基于 Laplace 算子的特征函数分解方法，可以有效提高模型的预测速度和计算效率，并同时确保了较低的截断误差。

    Jan, 2014

  • 基于帽子基函数的稀疏高斯过程

    本文扩展了约束高斯过程的核心思想，并提出了一种新的基于 “帽子” 基函数的稀疏高斯过程方法，将计算复杂度从精确高斯过程的 $O (n^{3})$ 降低到 $O (nm^{2})$，在开源数据集或分析函数上取得了满意的近似结果。

    Jun, 2020

  • 输入相关的稀疏高斯过程

    使用神经网络进行影子点位置计算和变分后验分布参数估计可提高 Gaussian Processes 的可扩展性。

    Jul, 2021

  • 基于网格结构特征函数的可扩展高斯过程（GP-GRIEF）

    使用 GRIEF 核心和 Nystrom 近似，构建 Gaussian 过程用于高维问题中的快速似然估计和广义贝叶斯推断。

    Jul, 2018

  • NeuralEF: 通过深度神经网络解构卷积核

    论文研究了一个新的、广义的针对函数空间的目标函数，应用于机器学习中核函数和数据分布定义的积分算子的主特征向量的训练。该方法通过近似高斯牛顿矩阵来实现线性化的深度神经网络在现代图像分类数据集上的扩展，能够提供对多元函数的准确逼近。

    Apr, 2022

  • 正交分解变分高斯过程

    本文提出了一种替代解耦方法的方法，它采用正交基来建模标准耦合方法无法学习到的残差项，同时利用信息流形结构加速学习，实现了更快的收敛性能。

    Sep, 2018

  • 任意潜在流形上的向量场的隐式高斯过程表示

    RVGP 是一种推广的高斯过程（GPs），用于学习潜在黎曼流形上的向量信号，通过与数据的常见基于图形的逼近相关的切空间束联结 Laplacian 的特征函数进行位置编码，具有全局规律性，可以在保留奇异点的同时对向量场进行超分辨率重建和内插，用于重构健康人和阿尔茨海默病患者低密度脑电图记录的高密度神经动力学，并且我们发现向量场的奇异点是重要的疾病标记，并且其重建方法在疾病状态的分类精度上与高密度记录相当，因此克服了实验和临床应用中的一个重要限制。

    Sep, 2023

  • 内核空间中的函数分布

    本文提出了一种基于函数内核的学习方法（FKL），通过将高斯过程置于谱密度上，直接推断出内核的功能后验分布，从而能够支持任何平稳内核，具有对内核值的不确定性，以及直接对内核的先验规范，而不需要复杂的初始化或人为干预。我们通过椭圆切片采样进行推断，这对于较强相关性先验的函数空间建模尤其适用。我们将我们的方法应用于非均匀、大规模、多任务和多维数据，并在插值、外推和内核恢复实验中展现了良好的性能。

    Oct, 2019

  • 实际稀疏变分高斯过程

    本文提出了一种将高斯过程映射到基于 B 样条基函数的一组函数上的新的跨域变分高斯过程。该方法的关键优势在于 B 样条基函数具有紧凑支持，可以采用稀疏线性代数来加速矩阵运算并显着减少内存占用，从而实现高效地对快速变化的空间现象进行建模，涉及数万个感应变量。

    Apr, 2023