通过在频率输入中表示不确定性来改进高斯过程稀疏谱逼近
本文针对大数据的稀疏高斯过程模型的一类不同于现有方法的低秩 GP 逼近模型展开研究,提出了基于稀疏频谱 GP 模型的随机变分贝叶斯框架,该框架结合贝叶斯方法处理频率谱避免过拟合,利用本地数据提高预测性能,并利用参数化技巧使得所得到的随机梯度具有线性结构,从而提高了稀疏 GP 模型的性能。实验结果表明,我们的模型优于现有的 SGP 模型的实现方法。
Nov, 2016
本篇论文提出了一种组合变分方法和光谱表示的高斯过程近似算法,通过研究高斯过程的光谱特征和协方差,进行了相关推导和分析,并将该算法应用于 Matern 核和高维数据的处理中,结果表明该算法在计算速度和精度方面都表现出色。
Nov, 2016
本文提出一种新的变分高斯过程模型,将均值函数和协方差函数在再生核希尔伯特空间中表示,可通过随机梯度上升来求解,时间和空间复杂度仅与均值函数参数数量成线性关系,适用于大规模高斯过程模型和回归任务的求解。
Nov, 2017
本文介绍了一种新的稀疏变分逼近高斯过程的解释,使用感应点可以比以前的方法更具有可扩展性。它基于将高斯过程分解为两个独立过程的和: 一个由有限势基感应点并跨越另一个捕获其余变化。我们表示,这种表达重新获得了现有的逼近值,并且同时允许获得较紧的较低边界和新的随机变分推理算法。我们展示了这些算法的效率,从标准回归到使用(深入)卷积高斯过程的多类分类,并在 CIFAR-10 中报告了完全基于 GP 的模型的最新结果。
Oct, 2019
该研究提出了一种新的互域变分高斯过程模型,使用球谐表示法将数据映射到单位超球面上,并采用类似变分傅里叶特征的推理方案,这使得模型能够在保持最先进准确度的同时,比标准稀疏高斯过程模型快出两个数量级拟合具有 600 万个条目的回归模型,并在具有非共轭似然函数的分类问题上展现出有竞争力的性能。
Jun, 2020
提出一种基于稀疏高斯过程的框架,使用期望传播直接逼近一般高斯过程的似然函数,既包括了 SPGP 和 VSGP 用于回归的特殊情况,又兼顾了在线处理数据的能力,可用于解决分类问题。在基准数据集上的实验表明,该框架在小样本规模下,不仅能够最大程度地逼近非稀疏 GP 解,而且可降低分类错误率。
Mar, 2012
本文提出了结合 inducing points 和 state-space formulation 的方法,并给出了相应的 varitational parameterisation 公式,该方法在深度高斯过程模型中的应用效果明显。
Jan, 2020