Mar, 2024

核多重网格：通过稀疏高斯过程回归加速反向拟合

PDF
TL;DR通过利用核包技术（KP），我们证明了后向拟合的收敛速度不会比（1-1/n）^t 更快，其中 n 和 t 分别表示数据大小和迭代次数。因此，后向拟合需要至少 O (n*logn) 次迭代才能达到收敛。在 KP 的基础上，我们进一步提出了一种称为核多网格（KMG）的算法。该算法通过在每次后向拟合迭代之后引入稀疏高斯过程回归（GPR）来处理残差，适用于具有结构化和离散数据的附加 GP。从理论上讲，我们证明了 KMG 将所需迭代次数降低到 O (logn)，同时保持时间和空间复杂度分别为 O (n*logn) 和 O (n)。通过仅使用 10 个诱导点的稀疏 GPR，数值上证明 KMG 可以在 5 次迭代内生成高维目标的精确近似。
发现论文，激发创造
  • 大规模高斯过程的交替投影

    通过基于交替投影的迭代算法，我们提出了一种能够有效进行小批量处理的方法，在解决大规模高斯过程训练的实际挑战中，获得了线性收敛并具有良好的鲁棒性，实验证明在大规模基准数据集上，相比于共轭梯度方法，我们的方法加速了 2 倍到 27 倍。

    Oct, 2023

  • 高斯过程回归的多分辨率核逼近

    本文介绍了一种名为 Multiresolution Kernel Approximation (MKA) 的高效内存且适用于小长度尺度的高带宽核逼近算法。

    Aug, 2017

  • 用稀疏矩阵表示加性高斯过程

    本文针对加性 Matern 高斯过程，提出基于后向逼近算法的计算方法，计算后验均值、方差、似然函数和梯度的复杂性从 O (n^3) 降低到 O (nlogn)，并应用于贝叶斯优化中，提出了后验更新、超参数学习、习得函数和其梯度的有效算法。

    Apr, 2023

  • 大规模高斯过程的思考

    本文介绍了一种高效、可扩展的高斯过程（MSGP）的框架及其初步结果，该框架采用了 Kronecker 乘积和 Toeplitz 矩阵的分解并采用循环矩阵的近似，将 GP 的时间复杂度降至 O (n)，测试点的预测时间复杂度降至 O (1)。

    Nov, 2015

  • 核基学习中的稀疏逼近方法的改进收敛速率

    本文针对核方法的高计算成本问题，提出了 Nyström 方法和稀疏变分高斯过程逼近方法的置信区间，从而改进了模型在回归和优化问题中的性能界限。

    Feb, 2022

  • 高斯过程建模的可加核函数

    本文介绍了一种将加性模型与高斯过程相结合的方法，并提出了一种用于数据驱动参数估计的简明数值方法。通过休息技术，本方法在 Sobol's g-function 中的表现效果优于其他方法。

    Mar, 2011

  • 基于可伸缩变分贝叶斯的稀疏高斯过程回归内核选择

    该论文提出了一种基于变分贝叶斯核选择算法的稀疏高斯过程回归模型，通过将核表示成一个随机变量，并利用其先验和后验信念来学习其不确定性，进而避免避免过度自信，通过随机梯度上升的方法来迭代地最大化变分下界以提高精度，该方法适用于大规模数据集。

    Dec, 2019

  • 通过集成核高斯过程回归方法增强药品销售预测准确性

    本研究使用高斯过程回归 (Gaussian Process Regression, GPR) 结合独立核函数 (ensemble kernel) 对药物销售数据进行分析。贝叶斯优化方法用于确定最佳核函数权重，结果显示集成核函数在预测准确度上表现优越，达到接近 1.0 的 R^2 值，并显著降低均方差 (MSE)、平均绝对误差 (MAE) 和均方根误差 (RMSE)。这些发现突显集成核函数在复杂药物销售数据集的预测分析中的功效。

    Apr, 2024

  • 加法高斯过程再审视

    提出了正交加性核（OAK）来代替传统高维交互项的加性高斯过程（GP）模型，能够实现可识别、低维度表示的功能关系，并展示了其在稀疏计算方法中的改进收敛速度和优越的预测性能。

    Jun, 2022

  • 纵向深度核高斯过程回归

    L-DKGPR 是一种从纵向数据中自动发现复杂的多层关联结构的方法，使用新颖的深度核学习技术，结合了深度神经网络的表达能力和非参数核方法的灵活性，通过引入变分推断的方式从潜变量先验中推理出后验。实验表明该方法较之前的 LDA 方法有明显的提高。

    May, 2020