该论文介绍了利用稀疏高斯过程进行非线性状态空间建模的高效变分贝叶斯学习的过程,以及后续的可处理的非线性动态系统建模、模型容量和计算成本的平衡、避免过度拟合以及使用混合推理方法(变分贝叶斯和顺序蒙特卡洛)进行主算法等。
Jun, 2014
本文提出一种新的变分高斯过程模型,将均值函数和协方差函数在再生核希尔伯特空间中表示,可通过随机梯度上升来求解,时间和空间复杂度仅与均值函数参数数量成线性关系,适用于大规模高斯过程模型和回归任务的求解。
Nov, 2017
本文提出了一种替代解耦方法的方法,它采用正交基来建模标准耦合方法无法学习到的残差项,同时利用信息流形结构加速学习,实现了更快的收敛性能。
Sep, 2018
发展了出色的变分逼近高斯过程后验方法,可以避免数据集尺寸为N的时间复杂度O(N³)的问题,而将计算复杂度降低到O(NM²)的程度,M是总结进程的引出的变量数。结果表明,通过以比N更慢的速度增加M,可以使KL散度任意小。
Mar, 2019
提出了两种可扩展的高斯过程回归方法,通过应用变分推断和直接处理后验预测分布来改善模型预测不确定性。
Oct, 2019
本文介绍了一种新的稀疏变分逼近高斯过程的解释,使用感应点可以比以前的方法更具有可扩展性。它基于将高斯过程分解为两个独立过程的和: 一个由有限势基感应点并跨越另一个捕获其余变化。我们表示,这种表达重新获得了现有的逼近值,并且同时允许获得较紧的较低边界和新的随机变分推理算法。我们展示了这些算法的效率,从标准回归到使用(深入)卷积高斯过程的多类分类,并在CIFAR-10中报告了完全基于GP的模型的最新结果。
该论文提出了一种使用Kalman递归实现线性时间推断的方法,避免了数值不稳定和收敛问题,通过实现该方法,解决了在处理非高斯似然时所遇到的麻烦,同时达到了快速稳定的变分推断效果,可处理包含百万数据点的时间序列的状态空间高斯过程模型。
Jul, 2020
使用神经网络进行影子点位置计算和变分后验分布参数估计可提高Gaussian Processes的可扩展性。
Jul, 2021
通过使用双参数化来给每个数据示例分配双参数,以提高计算效率,使用自然梯度下降加速推理并为超参数学习提供更紧的证据下限,提高了稀疏变分高斯过程方法的计算效率。
Nov, 2021
本文提出了一种将高斯过程映射到基于B样条基函数的一组函数上的新的跨域变分高斯过程。该方法的关键优势在于B样条基函数具有紧凑支持,可以采用稀疏线性代数来加速矩阵运算并显着减少内存占用,从而实现高效地对快速变化的空间现象进行建模,涉及数万个感应变量。
Apr, 2023