本论文介绍了一种基于稀疏高斯过程回归和潜变量模型的重新参数化变分推断方法,可以有效解决大规模数据集下高斯过程模型的可扩展性问题,并在飞行数据和 MNIST 数据集上证明了其优越性。
Feb, 2014
本文介绍了一种新的稀疏变分逼近高斯过程的解释,使用感应点可以比以前的方法更具有可扩展性。它基于将高斯过程分解为两个独立过程的和: 一个由有限势基感应点并跨越另一个捕获其余变化。我们表示,这种表达重新获得了现有的逼近值,并且同时允许获得较紧的较低边界和新的随机变分推理算法。我们展示了这些算法的效率,从标准回归到使用(深入)卷积高斯过程的多类分类,并在 CIFAR-10 中报告了完全基于 GP 的模型的最新结果。
Oct, 2019
本文提出了结合 inducing points 和 state-space formulation 的方法,并给出了相应的 varitational parameterisation 公式,该方法在深度高斯过程模型中的应用效果明显。
Jan, 2020
本文提出了一种替代解耦方法的方法,它采用正交基来建模标准耦合方法无法学习到的残差项,同时利用信息流形结构加速学习,实现了更快的收敛性能。
Sep, 2018
该论文提出了一种使用 Kalman 递归实现线性时间推断的方法,避免了数值不稳定和收敛问题,通过实现该方法,解决了在处理非高斯似然时所遇到的麻烦,同时达到了快速稳定的变分推断效果,可处理包含百万数据点的时间序列的状态空间高斯过程模型。
Jul, 2020
本研究使用贝叶斯压缩感知框架从概率学的角度研究了重尾先验下的线性模型,并借助基于随机场的 Perturb-and-MAP 算法提出了一种高效的方法近似估计高斯方差,实现对完整后验分布的捕捉及模型参数的学习并通过实验在图像去模糊中得到了良好效果。
Jul, 2011
介绍了一种基于随机变分推断方法的高斯过程模型,该方法使高斯过程模型能够应用于包含数百万数据点的数据集,并在需要执行变分推断的情况下,演示了如何将高斯过程分解为依赖于一组全局相关的引出变量的方法,并将其扩展到基于高斯过程的潜变量模型和具有非高斯似然度的模型。作者在简单玩具问题和两个真实数据集上展示了这种方法。
Sep, 2013
本文提出了一种将高斯过程映射到基于 B 样条基函数的一组函数上的新的跨域变分高斯过程。该方法的关键优势在于 B 样条基函数具有紧凑支持,可以采用稀疏线性代数来加速矩阵运算并显着减少内存占用,从而实现高效地对快速变化的空间现象进行建模,涉及数万个感应变量。
Apr, 2023
该论文介绍了利用稀疏高斯过程进行非线性状态空间建模的高效变分贝叶斯学习的过程,以及后续的可处理的非线性动态系统建模、模型容量和计算成本的平衡、避免过度拟合以及使用混合推理方法(变分贝叶斯和顺序蒙特卡洛)进行主算法等。
Jun, 2014
本篇论文提出了一种组合变分方法和光谱表示的高斯过程近似算法,通过研究高斯过程的光谱特征和协方差,进行了相关推导和分析,并将该算法应用于 Matern 核和高维数据的处理中,结果表明该算法在计算速度和精度方面都表现出色。
Nov, 2016