Jun, 2021

Nyström 方法与稀疏变分高斯过程之间的联系和等价性

PDF
TL;DR研究稀疏逼近方法在进行核方法和高斯过程（GPs）的大规模数据方面的连接，着重于 Nyström 方法和 Sparse Variational Gaussian Processes （SVGP）。在回归问题的上下文中，提供一种 RKHS 解释 SVGP 逼近，并且展示了其 Evidence Lower Bound 包含了 Nyström 逼近的目标函数，揭示了两种方法之间的代数等价性的来源。此外，研究了 SVGP 的最近建立的收敛结果以及它们与 Nyström 方法的逼近质量之间的关系。
sparse approximation methodskernel methodsgaussian processesnyström methodsparse variational gaussian processes
发现论文，激发创造
  • 核基学习中的稀疏逼近方法的改进收敛速率

    本文针对核方法的高计算成本问题，提出了 Nyström 方法和稀疏变分高斯过程逼近方法的置信区间，从而改进了模型在回归和优化问题中的性能界限。

    Feb, 2022

  • 一般似然函数的稀疏后验高斯过程

    提出一种基于稀疏高斯过程的框架，使用期望传播直接逼近一般高斯过程的似然函数，既包括了 SPGP 和 VSGP 用于回归的特殊情况，又兼顾了在线处理数据的能力，可用于解决分类问题。在基准数据集上的实验表明，该框架在小样本规模下，不仅能够最大程度地逼近非稀疏 GP 解，而且可降低分类错误率。

    Mar, 2012

  • 双稀疏变分高斯过程

    本文提出了结合 inducing points 和 state-space formulation 的方法，并给出了相应的 varitational parameterisation 公式，该方法在深度高斯过程模型中的应用效果明显。

    Jan, 2020

  • 一种用于稀疏谱高斯过程回归的广义随机变分贝叶斯超参数学习框架

    本文针对大数据的稀疏高斯过程模型的一类不同于现有方法的低秩 GP 逼近模型展开研究，提出了基于稀疏频谱 GP 模型的随机变分贝叶斯框架，该框架结合贝叶斯方法处理频率谱避免过拟合，利用本地数据提高预测性能，并利用参数化技巧使得所得到的随机梯度具有线性结构，从而提高了稀疏 GP 模型的性能。实验结果表明，我们的模型优于现有的 SGP 模型的实现方法。

    Nov, 2016

  • 基于可伸缩变分贝叶斯的稀疏高斯过程回归内核选择

    该论文提出了一种基于变分贝叶斯核选择算法的稀疏高斯过程回归模型，通过将核表示成一个随机变量，并利用其先验和后验信念来学习其不确定性，进而避免避免过度自信，通过随机梯度上升的方法来迭代地最大化变分下界以提高精度，该方法适用于大规模数据集。

    Dec, 2019

  • 稀疏变分受污染噪声高斯过程回归预测地磁扰动

    本文提出了一种使用受污染正态似然函数扩展高斯过程框架的方法，以更好地考虑异方差性和异常噪声。我们还提出了一种基于稀疏变分高斯过程方法的可扩展推理算法，用于在大型数据集上拟合具有受污染正态噪声的稀疏高斯过程回归模型。我们在地磁地面扰动应用中进行了实证研究，该应用基于神经网络的最先进预测模型，结果表明与人工密集神经网络基线相比，我们的方法在保持相似的覆盖率和准确性的情况下获得了较短的预测区间。

    Feb, 2024

  • 高斯过程的变分傅里叶特征

    本篇论文提出了一种组合变分方法和光谱表示的高斯过程近似算法，通过研究高斯过程的光谱特征和协方差，进行了相关推导和分析，并将该算法应用于 Matern 核和高维数据的处理中，结果表明该算法在计算速度和精度方面都表现出色。

    Nov, 2016

  • 高斯过程的稀疏正交变分推断

    本文介绍了一种新的稀疏变分逼近高斯过程的解释，使用感应点可以比以前的方法更具有可扩展性。它基于将高斯过程分解为两个独立过程的和： 一个由有限势基感应点并跨越另一个捕获其余变化。我们表示，这种表达重新获得了现有的逼近值，并且同时允许获得较紧的较低边界和新的随机变分推理算法。我们展示了这些算法的效率，从标准回归到使用（深入）卷积高斯过程的多类分类，并在 CIFAR-10 中报告了完全基于 GP 的模型的最新结果。

    Oct, 2019

  • 高斯过程和核方法：联系和等价性的综述

    研究正定核的两种广泛使用的方法之间的差距，即贝叶斯学习或使用高斯过程进行推理和基于再生核希尔伯特空间的频率核方法，参考新旧结果和概念并比较算法数量和哲学理论差异。

    Jul, 2018

  • 稀疏变分高斯过程的双参数化

    通过使用双参数化来给每个数据示例分配双参数，以提高计算效率，使用自然梯度下降加速推理并为超参数学习提供更紧的证据下限，提高了稀疏变分高斯过程方法的计算效率。

    Nov, 2021