一种用于稀疏谱高斯过程回归的广义随机变分贝叶斯超参数学习框架

AAAINov, 2016

一种用于稀疏谱高斯过程回归的广义随机变分贝叶斯超参数学习框架

A Generalized Stochastic Variational Bayesian Hyperparameter Learning Framework for Sparse Spectrum Gaussian Process Regression

PDF

Quang Minh Hoang, Trong Nghia Hoang, Kian Hsiang Low

TL;DR本文针对大数据的稀疏高斯过程模型的一类不同于现有方法的低秩 GP 逼近模型展开研究，提出了基于稀疏频谱 GP 模型的随机变分贝叶斯框架，该框架结合贝叶斯方法处理频率谱避免过拟合，利用本地数据提高预测性能，并利用参数化技巧使得所得到的随机梯度具有线性结构，从而提高了稀疏 GP 模型的性能。实验结果表明，我们的模型优于现有的 SGP 模型的实现方法。

Abstract

While much research effort has been dedicated to scaling up sparse Gaussian process (GP) models based on inducing variables for big data, little attention is afforded to the other less explored class of low-rank GP approximations that exploit the sparse spectral representation of a GP kernel. This paper presents such an effort to advance the state of the art

sparse spectrum gp stochastic variational bayesian predictive performance spectral frequencies stochastic optimization

发现论文，激发创造

基于可伸缩变分贝叶斯的稀疏高斯过程回归内核选择

该论文提出了一种基于变分贝叶斯核选择算法的稀疏高斯过程回归模型，通过将核表示成一个随机变量，并利用其先验和后验信念来学习其不确定性，进而避免避免过度自信，通过随机梯度上升的方法来迭代地最大化变分下界以提高精度，该方法适用于大规模数据集。

Dec, 2019

一般似然函数的稀疏后验高斯过程

提出一种基于稀疏高斯过程的框架，使用期望传播直接逼近一般高斯过程的似然函数，既包括了 SPGP 和 VSGP 用于回归的特殊情况，又兼顾了在线处理数据的能力，可用于解决分类问题。在基准数据集上的实验表明，该框架在小样本规模下，不仅能够最大程度地逼近非稀疏 GP 解，而且可降低分类错误率。

Mar, 2012

通过在频率输入中表示不确定性来改进高斯过程稀疏谱逼近

本文提出了一种新的正态分布稀疏光谱近似方法，应用变分推断将傅里叶级数的协方差函数近似建模为随机变量，从而提高了对复杂函数的拟合效果并避免了过拟合现象。

Mar, 2015

稀疏高斯过程回归和潜变量模型的分布式变分推断

本论文介绍了一种基于稀疏高斯过程回归和潜变量模型的重新参数化变分推断方法，可以有效解决大规模数据集下高斯过程模型的可扩展性问题，并在飞行数据和 MNIST 数据集上证明了其优越性。

Feb, 2014

双稀疏变分高斯过程

本文提出了结合 inducing points 和 state-space formulation 的方法，并给出了相应的 varitational parameterisation 公式，该方法在深度高斯过程模型中的应用效果明显。

Jan, 2020

实际稀疏变分高斯过程

本文提出了一种将高斯过程映射到基于 B 样条基函数的一组函数上的新的跨域变分高斯过程。该方法的关键优势在于 B 样条基函数具有紧凑支持，可以采用稀疏线性代数来加速矩阵运算并显着减少内存占用，从而实现高效地对快速变化的空间现象进行建模，涉及数万个感应变量。

Apr, 2023

具有线性复杂度的高斯过程模型的变分推断

本文提出一种新的变分高斯过程模型，将均值函数和协方差函数在再生核希尔伯特空间中表示，可通过随机梯度上升来求解，时间和空间复杂度仅与均值函数参数数量成线性关系，适用于大规模高斯过程模型和回归任务的求解。

Nov, 2017

具有球谐特征的稀疏高斯过程

该研究提出了一种新的互域变分高斯过程模型，使用球谐表示法将数据映射到单位超球面上，并采用类似变分傅里叶特征的推理方案，这使得模型能够在保持最先进准确度的同时，比标准稀疏高斯过程模型快出两个数量级拟合具有 600 万个条目的回归模型，并在具有非共轭似然函数的分类问题上展现出有竞争力的性能。

Jun, 2020

高斯过程的变分傅里叶特征

本篇论文提出了一种组合变分方法和光谱表示的高斯过程近似算法，通过研究高斯过程的光谱特征和协方差，进行了相关推导和分析，并将该算法应用于 Matern 核和高维数据的处理中，结果表明该算法在计算速度和精度方面都表现出色。

Nov, 2016

高斯过程的稀疏正交变分推断

本文介绍了一种新的稀疏变分逼近高斯过程的解释，使用感应点可以比以前的方法更具有可扩展性。它基于将高斯过程分解为两个独立过程的和：一个由有限势基感应点并跨越另一个捕获其余变化。我们表示，这种表达重新获得了现有的逼近值，并且同时允许获得较紧的较低边界和新的随机变分推理算法。我们展示了这些算法的效率，从标准回归到使用（深入）卷积高斯过程的多类分类，并在 CIFAR-10 中报告了完全基于 GP 的模型的最新结果。

Oct, 2019