Apr, 2023

用稀疏矩阵表示加性高斯过程

PDF
TL;DR本文针对加性 Matern 高斯过程，提出基于后向逼近算法的计算方法，计算后验均值、方差、似然函数和梯度的复杂性从 O (n^3) 降低到 O (nlogn)，并应用于贝叶斯优化中，提出了后验更新、超参数学习、习得函数和其梯度的有效算法。
发现论文，激发创造
  • 一般似然函数的稀疏后验高斯过程

    提出一种基于稀疏高斯过程的框架，使用期望传播直接逼近一般高斯过程的似然函数，既包括了 SPGP 和 VSGP 用于回归的特殊情况，又兼顾了在线处理数据的能力，可用于解决分类问题。在基准数据集上的实验表明，该框架在小样本规模下，不仅能够最大程度地逼近非稀疏 GP 解，而且可降低分类错误率。

    Mar, 2012

  • 高斯过程的变分傅里叶特征

    本篇论文提出了一种组合变分方法和光谱表示的高斯过程近似算法，通过研究高斯过程的光谱特征和协方差，进行了相关推导和分析，并将该算法应用于 Matern 核和高维数据的处理中，结果表明该算法在计算速度和精度方面都表现出色。

    Nov, 2016

  • 变分稀疏高斯过程 MCMC

    本文研究了在数据量大、似然不为高斯分布和协方差函数参数后验估计方面如何高效地计算，提出了一种稀疏的变分近似方法和混合蒙特卡洛采样策略，实现了同时估计函数值和协方差参数。

    Jun, 2015

  • 加法高斯过程再审视

    提出了正交加性核（OAK）来代替传统高维交互项的加性高斯过程（GP）模型，能够实现可识别、低维度表示的功能关系，并展示了其在稀疏计算方法中的改进收敛速度和优越的预测性能。

    Jun, 2022

  • 高斯过程回归中共轭梯度和 Lanczos 近似后验收缩率

    高斯过程回归模型在现代统计学和机器学习中成为一个核心主题，然而在大规模样本中，要得到精确的后验结果是计算上不可行的，因此我们分析了概率数值方法中一类最近提出的近似算法，结合数值分析和 Kernel 矩阵的谱浓度结果得到了极小化收缩速率的理论结果，通过数值实验验证了我们的理论发现。

    Jun, 2024

  • 稀疏高斯过程回归和潜变量模型的分布式变分推断

    本论文介绍了一种基于稀疏高斯过程回归和潜变量模型的重新参数化变分推断方法，可以有效解决大规模数据集下高斯过程模型的可扩展性问题，并在飞行数据和 MNIST 数据集上证明了其优越性。

    Feb, 2014

  • 核多重网格：通过稀疏高斯过程回归加速反向拟合

    通过利用核包技术（KP），我们证明了后向拟合的收敛速度不会比（1-1/n）^t 更快，其中 n 和 t 分别表示数据大小和迭代次数。因此，后向拟合需要至少 O (n*logn) 次迭代才能达到收敛。在 KP 的基础上，我们进一步提出了一种称为核多网格（KMG）的算法。该算法通过在每次后向拟合迭代之后引入稀疏高斯过程回归（GPR）来处理残差，适用于具有结构化和离散数据的附加 GP。从理论上讲，我们证明了 KMG 将所需迭代次数降低到 O (logn)，同时保持时间和空间复杂度分别为 O (n*logn) 和 O (n)。通过仅使用 10 个诱导点的稀疏 GPR，数值上证明 KMG 可以在 5 次迭代内生成高维目标的精确近似。

    Mar, 2024

  • 训练高斯过程的量子算法

    本文提出利用量子算法计算高斯过程模型中的边缘似然函数，能够显著提高计算效率。

    Mar, 2018

  • 正交分解变分高斯过程

    本文提出了一种替代解耦方法的方法，它采用正交基来建模标准耦合方法无法学习到的残差项，同时利用信息流形结构加速学习，实现了更快的收敛性能。

    Sep, 2018

  • 具有线性复杂度的高斯过程模型的变分推断

    本文提出一种新的变分高斯过程模型，将均值函数和协方差函数在再生核希尔伯特空间中表示，可通过随机梯度上升来求解，时间和空间复杂度仅与均值函数参数数量成线性关系，适用于大规模高斯过程模型和回归任务的求解。

    Nov, 2017