May, 2023

基于稀疏网格的核差值方法

PDF
TL;DR本文提出了在结构核插值框架中使用稀疏网格的方法，改进了高斯过程推理的可扩展性。这种方法结合了线性代数和基于单纯形的高维插值方案，使得 SKI 能够在更高维度下可靠地实现精确的推理。
发现论文，激发创造
  • 在单纯形上滑行：可扩展高斯过程的 Permutohedral 格子核插值

    通过将稠密的格子转化为稀疏的单纯形网格，我们提出了一种新的方法 Simplex-GP，把最新的可扩展高斯过程方法 SKI 推广到更高的维度，同时保持较强的预测性能，并提供了一个 CUDA 实现，从而获得了显著的 GPU 加速。

    Jun, 2021

  • 可扩展高斯过程的产品核插值

    本文提出了一种基于矩阵向量乘法和乘积核结构的新技术，可以在高维空间中实现快速的 Kernel 学习，并实现了令人瞩目的多任务 GPs 性能。

    Feb, 2018

  • 可扩展结构高斯过程内核插值 (KISS-GP)

    本研究介绍了一种新的结构化核插值（SKI）框架，该框架推广和统一了可扩展高斯过程的引入点方法。SKI 方法通过核插值产生核近似值以进行快速计算，SK 始终讨论了引入点方法的质量如何依赖于插入（插补）点的数量，插值策略和 GP 协方差核。使用 SKI，我们介绍了一种名为 KISS-GP 的本地三次核插值方法，该方法与引入点替代方法相比，更具可伸缩性，并且 自然地启用 Kronecker 和 Toeplitz 代数，无需任何网格数据，并且可用于快速和表达式内核学习，对于 GP 推断，KISS-GP 需要 O（n）时间和存储成本。我们评估了 KISS-GP 的核矩阵近似，核学习，和自然声音建模。

    Mar, 2015

  • 使用结构化内核插值的高斯过程回归生成大规模磁场地图

    我们提出了一种映射算法，用于在室内环境中通过近似高斯过程回归计算大规模磁场地图，以用于室内区域的定位算法。

    Oct, 2023

  • 实际稀疏变分高斯过程

    本文提出了一种将高斯过程映射到基于 B 样条基函数的一组函数上的新的跨域变分高斯过程。该方法的关键优势在于 B 样条基函数具有紧凑支持，可以采用稀疏线性代数来加速矩阵运算并显着减少内存占用，从而实现高效地对快速变化的空间现象进行建模，涉及数万个感应变量。

    Apr, 2023

  • 核多重网格：通过稀疏高斯过程回归加速反向拟合

    通过利用核包技术（KP），我们证明了后向拟合的收敛速度不会比（1-1/n）^t 更快，其中 n 和 t 分别表示数据大小和迭代次数。因此，后向拟合需要至少 O (n*logn) 次迭代才能达到收敛。在 KP 的基础上，我们进一步提出了一种称为核多网格（KMG）的算法。该算法通过在每次后向拟合迭代之后引入稀疏高斯过程回归（GPR）来处理残差，适用于具有结构化和离散数据的附加 GP。从理论上讲，我们证明了 KMG 将所需迭代次数降低到 O (logn)，同时保持时间和空间复杂度分别为 O (n*logn) 和 O (n)。通过仅使用 10 个诱导点的稀疏 GPR，数值上证明 KMG 可以在 5 次迭代内生成高维目标的精确近似。

    Mar, 2024

  • 深度核学习

    介绍了可伸缩的深度核，将深度学习架构的结构属性与核方法的非参数灵活性相结合，通过局部核插值、引入点、Kronecker 和 Toeplitz 代数进行转换，使用这些闭式核可以用作标准核的替代品，在表达能力和可伸缩性方面具有优势，通常情况下，学习和推断代价为 $ O (n)$，而预测代价为每个测试点的 $O (1)$。

    Nov, 2015

  • 具有球谐特征的稀疏高斯过程

    该研究提出了一种新的互域变分高斯过程模型，使用球谐表示法将数据映射到单位超球面上，并采用类似变分傅里叶特征的推理方案，这使得模型能够在保持最先进准确度的同时，比标准稀疏高斯过程模型快出两个数量级拟合具有 600 万个条目的回归模型，并在具有非共轭似然函数的分类问题上展现出有竞争力的性能。

    Jun, 2020

  • 基于网格结构特征函数的可扩展高斯过程（GP-GRIEF）

    使用 GRIEF 核心和 Nystrom 近似，构建 Gaussian 过程用于高维问题中的快速似然估计和广义贝叶斯推断。

    Jul, 2018

  • 线性多核高斯过程：频谱设计与多维数据的分布式学习

    该研究论文提出了一种新颖的基于网格谱混合核的高斯过程模型，该模型在多维数据中减少了超参数数量并保持了优化结构和逼近能力，以及基于交替方向乘子法框架的分布式算法，可以在大数据环境下协同学习，同时保护数据隐私，并通过量化超参数来解决分布式框架中的通信带宽限制问题，实验证明了该方法在不同数据集上具有优秀的预测性能和效率。

    Sep, 2023