Jun, 2021

Nyström 方法与稀疏变分高斯过程之间的联系和等价性

HTML
PDF
TL;DR研究稀疏逼近方法在进行核方法和高斯过程（GPs）的大规模数据方面的连接，着重于Nyström方法和Sparse Variational Gaussian Processes （SVGP）。在回归问题的上下文中，提供一种RKHS解释SVGP逼近，并且展示了其Evidence Lower Bound 包含了Nyström逼近的目标函数，揭示了两种方法之间的代数等价性的来源。此外，研究了SVGP的最近建立的收敛结果以及它们与Nyström方法的逼近质量之间的关系。
发现论文，激发创造
  • 一般似然函数的稀疏后验高斯过程

    提出一种基于稀疏高斯过程的框架，使用期望传播直接逼近一般高斯过程的似然函数，既包括了 SPGP 和 VSGP 用于回归的特殊情况，又兼顾了在线处理数据的能力，可用于解决分类问题。在基准数据集上的实验表明，该框架在小样本规模下，不仅能够最大程度地逼近非稀疏 GP 解，而且可降低分类错误率。

    Mar, 2012

  • 当高斯过程遇到大数据：可扩展高斯过程综述

    本文回顾和分析了当前流行的可扩展高斯过程回归模型的局部和全局逼近方法，主要包括稀疏逼近、混合专家模型和产品专家模型，并探讨了这些模型在数据规模大的情况下的应用前景。

    Jul, 2018

  • 带收缩先验的组合稀疏高斯过程学习

    本文提出了一种有效的方法：使用Horseshoe先验处理核函数的稀疏性来学习核组合，提供更好的匹配度和更短的计算时间。

    Dec, 2020

  • SigGPDE：在序列数据上扩展稀疏高斯过程

    本文我们提出了SigGPDE，它是一个新的可扩展的稀疏变分推理框架，用于处理序列数据上的高斯过程。我们的贡献有两个方面：首先，我们构造了诱导变量来支撑稀疏近似，使得得到的证据下限ELBO不需要任何矩阵求逆；其次，我们展示了GP签名核的梯度是一个双曲型偏微分方程（PDE）的解，这一理论洞见使我们能够构建一个有效的反向传播算法来优化ELBO。通过展示SigGPDE相对于现有方法的显着计算收益，同时在多达1百万个多元时间序列的大型数据集上实现最先进的分类任务性能。

    May, 2021

  • 基于谐核分解的可扩展变分高斯过程

    本文提出了一种新的可扩展的变分高斯过程近似方法，采用傅里叶级数将核作为正交核的和进行分解，利用这种正交性使众多诱导点具有低计算成本，能在回归和分类问题中利用输入空间的对称性，明显优于标准变分方法，并在CIFAR-10中取得与纯GP模型的最新成果。

    Jun, 2021

  • 核基学习中的稀疏逼近方法的改进收敛速率

    本文针对核方法的高计算成本问题，提出了Nyström方法和稀疏变分高斯过程逼近方法的置信区间，从而改进了模型在回归和优化问题中的性能界限。

    Feb, 2022

  • 实际稀疏变分高斯过程

    本文提出了一种将高斯过程映射到基于B样条基函数的一组函数上的新的跨域变分高斯过程。该方法的关键优势在于B样条基函数具有紧凑支持，可以采用稀疏线性代数来加速矩阵运算并显着减少内存占用，从而实现高效地对快速变化的空间现象进行建模，涉及数万个感应变量。

    Apr, 2023

  • 用稀疏矩阵表示加性高斯过程

    本文针对加性Matern高斯过程，提出基于后向逼近算法的计算方法，计算后验均值、方差、似然函数和梯度的复杂性从O(n^3)降低到O(nlogn)，并应用于贝叶斯优化中，提出了后验更新、超参数学习、习得函数和其梯度的有效算法。

    Apr, 2023

  • 深入的高斯过程的非稳态卷积核的统一视角

    高斯过程常用于数据的随机函数逼近和不确定性量化，在机器学习中它们表现出优秀的预测能力，尤其在数据稀缺场景下，但核函数作为高斯过程的重要构建模块，通常需要进行复杂的定制，我们通过研究代表性数据集中多种核函数的表现、性质和性能，提出了一种融合现有核函数优点的新核函数。

    Sep, 2023

  • 高斯过程回归中共轭梯度和Lanczos近似后验收缩率

    高斯过程回归模型在现代统计学和机器学习中成为一个核心主题，然而在大规模样本中，要得到精确的后验结果是计算上不可行的，因此我们分析了概率数值方法中一类最近提出的近似算法，结合数值分析和 Kernel 矩阵的谱浓度结果得到了极小化收缩速率的理论结果，通过数值实验验证了我们的理论发现。

    Jun, 2024