参数高斯过程回归器

ICMLOct, 2019

Parametric Gaussian Process Regressors

Martin Jankowiak, Geoff Pleiss, Jacob R. Gardner

TL;DR提出了两种可扩展的高斯过程回归方法，通过应用变分推断和直接处理后验预测分布来改善模型预测不确定性。

Abstract

The combination of inducing point methods with stochastic variational inference has enabled approximate gaussian process (GP) inference on large datasets. Unfortunately, the resulting predictive distributions often exhibit substantially underestimated uncertainties. Notably, in the reg

gaussian process stochastic variational inference scalable gp regression predictive uncertainties fitc

发现论文，激发创造

基于贝叶斯方法的不确定输入高斯过程回归

该研究提出了一种使用贝叶斯方法将观测数据的不确定性与高斯过程回归相结合的方法，因此在科学应用中可以更好地估计不确定性，并获得更稳健的预测结果。

May, 2023

非平稳异方差高斯过程回归的近似推断

本文提出了一种用于高斯过程回归中噪声和信号方差的不精确积分的新方法，并使用期望传播进行推理，在两个模拟数据集和三个实证示例中与马尔可夫链蒙特卡罗方法进行比较。结果表明，期望传播能够产生可比较的结果，而计算量较小。

Apr, 2014

稀疏高斯过程回归和潜变量模型的分布式变分推断

本论文介绍了一种基于稀疏高斯过程回归和潜变量模型的重新参数化变分推断方法，可以有效解决大规模数据集下高斯过程模型的可扩展性问题，并在飞行数据和 MNIST 数据集上证明了其优越性。

Feb, 2014

大数据的高斯过程

介绍了一种基于随机变分推断方法的高斯过程模型，该方法使高斯过程模型能够应用于包含数百万数据点的数据集，并在需要执行变分推断的情况下，演示了如何将高斯过程分解为依赖于一组全局相关的引出变量的方法，并将其扩展到基于高斯过程的潜变量模型和具有非高斯似然度的模型。作者在简单玩具问题和两个真实数据集上展示了这种方法。

Sep, 2013

高斯过程的恒定时间预测分布

本文提出一种基于 Lanczos 算法的方法 LOVE（LanczOs Variance Estimates）来解决高斯过程回归的计算瓶颈，大大提高了协方差的计算效率和采样速度。

Mar, 2018

高斯过程模型推理网络的可扩展训练

本论文使用了基于随机推理网络的镜像梯度下降算法来实现高斯过程模型的推理，该算法针对大规模数据的情况具有可扩展性和易实现性，并且在实验中取得了与现有稀疏变分高斯过程方法相当甚至更好的表现。

May, 2019

深高斯过程的双随机变分推断

本文介绍了一种基于双随机变分推断的方法，用于深度高斯过程模型（Deep Gaussian processes）的推断。该方法能够有效地处理数百个到十亿个数据点的分类和回归任务，验证了其推断模型的实用性。

May, 2017

输入相关的稀疏高斯过程

使用神经网络进行影子点位置计算和变分后验分布参数估计可提高 Gaussian Processes 的可扩展性。

Jul, 2021

贝叶斯回归和分类高斯过程模型的蒙特卡罗实现

本文提出了使用高斯过程模型来进行非参数回归，分类等任务，通过使用马尔科夫链方法对高斯过程的协方差函数的超参数进行采样，可以发现数据的高级特性并实现预测响应所需输入的相关性。

Jan, 1997

高斯过程全贝叶斯回归的近似推理

本文介绍了高斯过程模型中两种推断超参数后验分布的方法，一种是哈密顿蒙特卡罗（HMC）求解采样近似，另一种是变分推断（VI），其中超参数后验分布被近似为一个因子化的高斯分布或全秩高斯分布，该文分析了完全贝叶斯高斯过程回归在多个基准数据集上的预测性能。

Dec, 2019