提出一种基于稀疏高斯过程的框架,使用期望传播直接逼近一般高斯过程的似然函数,既包括了 SPGP 和 VSGP 用于回归的特殊情况,又兼顾了在线处理数据的能力,可用于解决分类问题。在基准数据集上的实验表明,该框架在小样本规模下,不仅能够最大程度地逼近非稀疏 GP 解,而且可降低分类错误率。
Mar, 2012
本文提出一种新的变分高斯过程模型,将均值函数和协方差函数在再生核希尔伯特空间中表示,可通过随机梯度上升来求解,时间和空间复杂度仅与均值函数参数数量成线性关系,适用于大规模高斯过程模型和回归任务的求解。
Nov, 2017
本文提出了一种替代解耦方法的方法,它采用正交基来建模标准耦合方法无法学习到的残差项,同时利用信息流形结构加速学习,实现了更快的收敛性能。
Sep, 2018
本文介绍了一种新的稀疏变分逼近高斯过程的解释,使用感应点可以比以前的方法更具有可扩展性。它基于将高斯过程分解为两个独立过程的和: 一个由有限势基感应点并跨越另一个捕获其余变化。我们表示,这种表达重新获得了现有的逼近值,并且同时允许获得较紧的较低边界和新的随机变分推理算法。我们展示了这些算法的效率,从标准回归到使用(深入)卷积高斯过程的多类分类,并在CIFAR-10中报告了完全基于GP的模型的最新结果。
Oct, 2019
本文提出了结合inducing points和state-space formulation的方法, 并给出了相应的varitational parameterisation公式, 该方法在深度高斯过程模型中的应用效果明显。
Jan, 2020
该研究提出了一种新的互域变分高斯过程模型,使用球谐表示法将数据映射到单位超球面上,并采用类似变分傅里叶特征的推理方案,这使得模型能够在保持最先进准确度的同时,比标准稀疏高斯过程模型快出两个数量级拟合具有600万个条目的回归模型,并在具有非共轭似然函数的分类问题上展现出有竞争力的性能。
Jun, 2020
本文我们提出了SigGPDE,它是一个新的可扩展的稀疏变分推理框架,用于处理序列数据上的高斯过程。我们的贡献有两个方面:首先,我们构造了诱导变量来支撑稀疏近似,使得得到的证据下限ELBO不需要任何矩阵求逆;其次,我们展示了GP签名核的梯度是一个双曲型偏微分方程(PDE)的解,这一理论洞见使我们能够构建一个有效的反向传播算法来优化ELBO。通过展示SigGPDE相对于现有方法的显着计算收益,同时在多达1百万个多元时间序列的大型数据集上实现最先进的分类任务性能。
May, 2021
使用神经网络进行影子点位置计算和变分后验分布参数估计可提高Gaussian Processes的可扩展性。
Jul, 2021
本文针对加性Matern高斯过程,提出基于后向逼近算法的计算方法,计算后验均值、方差、似然函数和梯度的复杂性从O(n^3)降低到O(nlogn),并应用于贝叶斯优化中,提出了后验更新、超参数学习、习得函数和其梯度的有效算法。
Apr, 2023
通过使用集成的Fourier特征,我们提出了一种扩展性能优势的方法,适用于广泛的平稳协方差函数类,从收敛分析和实证探索中证明了在合成和实际空间回归任务中的实际加速。
Aug, 2023