ICMLJun, 2021

基于谐核分解的可扩展变分高斯过程

PDF
TL;DR本文提出了一种新的可扩展的变分高斯过程近似方法，采用傅里叶级数将核作为正交核的和进行分解，利用这种正交性使众多诱导点具有低计算成本，能在回归和分类问题中利用输入空间的对称性，明显优于标准变分方法，并在 CIFAR-10 中取得与纯 GP 模型的最新成果。
scalable variational gaussian process approximationharmonic kernel decompositionorthogonal kernelsinput space symmetriescifar-10
发现论文，激发创造
  • 具有球谐特征的稀疏高斯过程

    该研究提出了一种新的互域变分高斯过程模型，使用球谐表示法将数据映射到单位超球面上，并采用类似变分傅里叶特征的推理方案，这使得模型能够在保持最先进准确度的同时，比标准稀疏高斯过程模型快出两个数量级拟合具有 600 万个条目的回归模型，并在具有非共轭似然函数的分类问题上展现出有竞争力的性能。

    Jun, 2020

  • 高斯过程的稀疏正交变分推断

    本文介绍了一种新的稀疏变分逼近高斯过程的解释，使用感应点可以比以前的方法更具有可扩展性。它基于将高斯过程分解为两个独立过程的和： 一个由有限势基感应点并跨越另一个捕获其余变化。我们表示，这种表达重新获得了现有的逼近值，并且同时允许获得较紧的较低边界和新的随机变分推理算法。我们展示了这些算法的效率，从标准回归到使用（深入）卷积高斯过程的多类分类，并在 CIFAR-10 中报告了完全基于 GP 的模型的最新结果。

    Oct, 2019

  • 高斯过程的变分傅里叶特征

    本篇论文提出了一种组合变分方法和光谱表示的高斯过程近似算法，通过研究高斯过程的光谱特征和协方差，进行了相关推导和分析，并将该算法应用于 Matern 核和高维数据的处理中，结果表明该算法在计算速度和精度方面都表现出色。

    Nov, 2016

  • 使用张量列车分解实现数十亿个诱导输入的可扩展高斯过程

    利用张量列车分解为变分参数的高斯过程建模方法，实现具有数十亿个输入点培训和端到端训练的深度神经网络和高斯过程回归 / 分类器的最新结果优化。

    Oct, 2017

  • 具有线性复杂度的高斯过程模型的变分推断

    本文提出一种新的变分高斯过程模型，将均值函数和协方差函数在再生核希尔伯特空间中表示，可通过随机梯度上升来求解，时间和空间复杂度仅与均值函数参数数量成线性关系，适用于大规模高斯过程模型和回归任务的求解。

    Nov, 2017

  • 基于可伸缩变分贝叶斯的稀疏高斯过程回归内核选择

    该论文提出了一种基于变分贝叶斯核选择算法的稀疏高斯过程回归模型，通过将核表示成一个随机变量，并利用其先验和后验信念来学习其不确定性，进而避免避免过度自信，通过随机梯度上升的方法来迭代地最大化变分下界以提高精度，该方法适用于大规模数据集。

    Dec, 2019

  • 可扩展的变分高斯过程分类

    本文介绍了通过变分诱导点框架对高斯过程分类模型进行缩放，超越基准测试数据的最新水平。重要的是，在实验中展示了该变分方法可以用于具有数百万数据点的大数据集的分类。

    Nov, 2014

  • SigGPDE：在序列数据上扩展稀疏高斯过程

    本文我们提出了 SigGPDE，它是一个新的可扩展的稀疏变分推理框架，用于处理序列数据上的高斯过程。我们的贡献有两个方面：首先，我们构造了诱导变量来支撑稀疏近似，使得得到的证据下限 ELBO 不需要任何矩阵求逆；其次，我们展示了 GP 签名核的梯度是一个双曲型偏微分方程（PDE）的解，这一理论洞见使我们能够构建一个有效的反向传播算法来优化 ELBO。通过展示 SigGPDE 相对于现有方法的显着计算收益，同时在多达 1 百万个多元时间序列的大型数据集上实现最先进的分类任务性能。

    May, 2021

  • 为组合高斯过程模型设计的自适应 RKHS Fourier 特征

    利用深高斯过程（Deep Gaussian Processes）的组合结构来建模非平稳过程，并借助全局傅里叶特征提高其捕捉复杂非平稳模式的能力，通过引入基于常微分方程的傅里叶特征使我们的模型能够通过卷积操作进行自适应振幅和相位调制，进一步提升了回归任务的预测性能。

    Jul, 2024

  • 基于混合频谱方法和谐振子的时空高斯过程非可分协方差核

    本文提出了一种基于物理学论证的混合频谱方法来生成协方差核，用于导出一种新型的地理时间相关的、具有物理意义的不可分离协方差核，并研究了它们的性质。

    Feb, 2023