核心数据包的统一理论:从状态空间模型到紧支撑基础
高斯过程常用于数据的随机函数逼近和不确定性量化,在机器学习中它们表现出优秀的预测能力,尤其在数据稀缺场景下,但核函数作为高斯过程的重要构建模块,通常需要进行复杂的定制,我们通过研究代表性数据集中多种核函数的表现、性质和性能,提出了一种融合现有核函数优点的新核函数。
Sep, 2023
通过利用核包技术(KP),我们证明了后向拟合的收敛速度不会比(1-1/n)^t 更快,其中 n 和 t 分别表示数据大小和迭代次数。因此,后向拟合需要至少 O (n*logn) 次迭代才能达到收敛。在 KP 的基础上,我们进一步提出了一种称为核多网格(KMG)的算法。该算法通过在每次后向拟合迭代之后引入稀疏高斯过程回归(GPR)来处理残差,适用于具有结构化和离散数据的附加 GP。从理论上讲,我们证明了 KMG 将所需迭代次数降低到 O (logn),同时保持时间和空间复杂度分别为 O (n*logn) 和 O (n)。通过仅使用 10 个诱导点的稀疏 GPR,数值上证明 KMG 可以在 5 次迭代内生成高维目标的精确近似。
Mar, 2024
该文介绍了一种针对时间序列数据的非参数预测与降噪方法,使用高斯过程和卡尔曼滤波实现。此外还讲到了基于单次环境传输因子的推断方法,在算法复杂度方面有较好的优化表现,并且可以用于在线学习。
Nov, 2018
引入一种通用方法,允许 LDS 模拟平稳的时间 GPs,这种状态空间表示方法称为马尔可夫高斯过程,通过保持高斯过程的灵活性同时维持高效的线性计算,能够组合 GPs 和 LDS 的优点,而不仅限于分离性多输出核函数,对单输出和多输出的平稳时间核函数普遍有效,通过计算协方差、执行回归任务和神经科学应用进行评估,证明了我们的方法能够提供准确的平稳时间 GPs 的状态空间表示。
Jun, 2024
本文介绍了一种高效、可扩展的高斯过程(MSGP)的框架及其初步结果,该框架采用了 Kronecker 乘积和 Toeplitz 矩阵的分解并采用循环矩阵的近似,将 GP 的时间复杂度降至 O (n),测试点的预测时间复杂度降至 O (1)。
Nov, 2015
本文介绍了 Gaussian 过程状态空间模型,并探讨最大的挑战 —— 系统识别,提出了基于双向循环神经网络的结构化高斯变分后验分布来处理推断问题,并使用重参数化技巧有效计算边缘似然的下界,可以在观察到真实系统的少量数据后生成可信赖的未来轨迹。
May, 2017
本文介绍了一种基于核的多任务高斯过程模型,用于利用具有两个状态的时间不均匀马尔可夫过程(移动和暂停)来近似个体移动状态的基本功能,并介绍了时间可变性,并利用 Toeplitz 和 Kronecker 积的结构加速 GP 估计和推理,其中数值实验演示了我们的公式实现所需的限制条件,同时学习了转移概率的功能形式。
Jun, 2023
通过将函数模型为非平稳高斯过程的样本函数,学习一对变量之间的功能关系,解决可用数据的相关结构的不均匀性问题,并在其中嵌套多个高斯过程,从而建立了两个高斯过程层的充分性。
Apr, 2024
提出一种基于稀疏高斯过程的框架,使用期望传播直接逼近一般高斯过程的似然函数,既包括了 SPGP 和 VSGP 用于回归的特殊情况,又兼顾了在线处理数据的能力,可用于解决分类问题。在基准数据集上的实验表明,该框架在小样本规模下,不仅能够最大程度地逼近非稀疏 GP 解,而且可降低分类错误率。
Mar, 2012
该论文提出了一种使用 Kalman 递归实现线性时间推断的方法,避免了数值不稳定和收敛问题,通过实现该方法,解决了在处理非高斯似然时所遇到的麻烦,同时达到了快速稳定的变分推断效果,可处理包含百万数据点的时间序列的状态空间高斯过程模型。
Jul, 2020