本文提出了一种将高斯过程映射到基于 B 样条基函数的一组函数上的新的跨域变分高斯过程。该方法的关键优势在于 B 样条基函数具有紧凑支持,可以采用稀疏线性代数来加速矩阵运算并显着减少内存占用,从而实现高效地对快速变化的空间现象进行建模,涉及数万个感应变量。
Apr, 2023
使用神经网络进行影子点位置计算和变分后验分布参数估计可提高 Gaussian Processes 的可扩展性。
Jul, 2021
本文介绍了一种新的稀疏变分逼近高斯过程的解释,使用感应点可以比以前的方法更具有可扩展性。它基于将高斯过程分解为两个独立过程的和: 一个由有限势基感应点并跨越另一个捕获其余变化。我们表示,这种表达重新获得了现有的逼近值,并且同时允许获得较紧的较低边界和新的随机变分推理算法。我们展示了这些算法的效率,从标准回归到使用(深入)卷积高斯过程的多类分类,并在 CIFAR-10 中报告了完全基于 GP 的模型的最新结果。
Oct, 2019
本文提出了结合 inducing points 和 state-space formulation 的方法,并给出了相应的 varitational parameterisation 公式,该方法在深度高斯过程模型中的应用效果明显。
Jan, 2020
本论文介绍了一种基于稀疏高斯过程回归和潜变量模型的重新参数化变分推断方法,可以有效解决大规模数据集下高斯过程模型的可扩展性问题,并在飞行数据和 MNIST 数据集上证明了其优越性。
Feb, 2014
研究了高斯过程深度生成模型中的氐变量的稀疏高斯过程近似的问题,并提出了一种基于部分推理网络的稀疏高斯过程变分自编码器,从而使得稀疏高斯过程能处理多维度的时空数据中缺失的数据,并提高模型的计算效率。
Oct, 2020
该研究提出了一种新的互域变分高斯过程模型,使用球谐表示法将数据映射到单位超球面上,并采用类似变分傅里叶特征的推理方案,这使得模型能够在保持最先进准确度的同时,比标准稀疏高斯过程模型快出两个数量级拟合具有 600 万个条目的回归模型,并在具有非共轭似然函数的分类问题上展现出有竞争力的性能。
Jun, 2020
本文提出一种新的变分高斯过程模型,将均值函数和协方差函数在再生核希尔伯特空间中表示,可通过随机梯度上升来求解,时间和空间复杂度仅与均值函数参数数量成线性关系,适用于大规模高斯过程模型和回归任务的求解。
Nov, 2017
提出一种基于稀疏高斯过程的框架,使用期望传播直接逼近一般高斯过程的似然函数,既包括了 SPGP 和 VSGP 用于回归的特殊情况,又兼顾了在线处理数据的能力,可用于解决分类问题。在基准数据集上的实验表明,该框架在小样本规模下,不仅能够最大程度地逼近非稀疏 GP 解,而且可降低分类错误率。
Mar, 2012
本论文使用了基于随机推理网络的镜像梯度下降算法来实现高斯过程模型的推理,该算法针对大规模数据的情况具有可扩展性和易实现性,并且在实验中取得了与现有稀疏变分高斯过程方法相当甚至更好的表现。
May, 2019