ICMLDec, 2021

迭代高斯过程何时准确可靠？

PDF
TL;DR通过研究共轭梯度法的容差、预处理器秩和 Lanczos 分解秩，挖掘了基于迭代方法的一般性高斯过程学习中数值不稳定性和测试似然度差异的问题，并在使用小的共轭梯度法容差（ε≤0.01）和大的分解大小（r≥5000）以及 L-BFGS-B 优化器时，提供了简单的纠正建议，同时减少梯度更新次数达到收敛。
gaussian process inferenceconjugate gradient methodslanczos decompositionskernel hyperparametersiterative gps
发现论文，激发创造
  • 大规模高斯过程的交替投影

    通过基于交替投影的迭代算法，我们提出了一种能够有效进行小批量处理的方法，在解决大规模高斯过程训练的实际挑战中，获得了线性收敛并具有良好的鲁棒性，实验证明在大规模基准数据集上，相比于共轭梯度方法，我们的方法加速了 2 倍到 27 倍。

    Oct, 2023

  • 高斯过程回归中共轭梯度和 Lanczos 近似后验收缩率

    高斯过程回归模型在现代统计学和机器学习中成为一个核心主题，然而在大规模样本中，要得到精确的后验结果是计算上不可行的，因此我们分析了概率数值方法中一类最近提出的近似算法，结合数值分析和 Kernel 矩阵的谱浓度结果得到了极小化收缩速率的理论结果，通过数值实验验证了我们的理论发现。

    Jun, 2024

  • 大规模空间数据的迭代高斯过程近似方法

    高斯过程是灵活的概率回归模型，但其计算规模受限；本文提出了全尺度近似方法，通过预测过程和协方差截尾相结合，减少计算开销，并引入新的预处理器和迭代方法以提高计算速度和预测方法准确度，在实验中证明它相较于现有方法在减少计算时间的同时，具备相同的准确性；此外，也比较了确定预测过程和全尺度近似模型中诱导点的不同方法。

    May, 2024

  • 改进迭代高斯过程中的超参数优化的线性系统求解器

    将超参数优化扩展到非常大的数据集仍然是高斯过程领域中一个未解决的问题。本文侧重于使用线性系统求解器（如共轭梯度、交替投影或随机梯度下降）构建边缘似然梯度的估计的迭代方法。我们讨论了三个可用于所有求解器的关键改进：（i）路径梯度估计器，减少了求解器迭代次数的要求并分摊了预测的计算成本，（ii）使用前一步的解来热启动线性系统求解器，导致更快的求解器收敛速度且误差可以忽略，（iii）在有限的计算预算后及早停止线性系统求解器，与热启动相协同，允许求解器进展在多个边缘似然步骤中积累。这些技术在达到容忍度时提供了高达 72 倍的加速，并在早停止时将平均残差范数降低了 7 倍。

    May, 2024

  • 高斯过程的恒定时间预测分布

    本文提出一种基于 Lanczos 算法的方法 LOVE（LanczOs Variance Estimates）来解决高斯过程回归的计算瓶颈，大大提高了协方差的计算效率和采样速度。

    Mar, 2018

  • 可扩展高斯过程超参数优化的预处理

    本研究介绍了一种新的算法和理论视角，通过预处理来优化计算 Gaussian 过程中超参数的对数行列式及其导数，证明了其可行性，并在大规模基准问题上进行了实证验证，取得了杰出的效果。

    Jul, 2021

  • 参数高斯过程回归器

    提出了两种可扩展的高斯过程回归方法，通过应用变分推断和直接处理后验预测分布来改善模型预测不确定性。

    Oct, 2019

  • 利用局部性和稳健性实现大规模高斯过程回归

    本研究提出了一种基于最近邻预测的高斯过程回归算法，相比于现有算法，该算法具有更快的计算速度和更准确的预测结果，并且其对数据集大小和样本误差的鲁棒性更强。

    Jun, 2023

  • 大规模高斯过程的思考

    本文介绍了一种高效、可扩展的高斯过程（MSGP）的框架及其初步结果，该框架采用了 Kronecker 乘积和 Toeplitz 矩阵的分解并采用循环矩阵的近似，将 GP 的时间复杂度降至 O (n)，测试点的预测时间复杂度降至 O (1)。

    Nov, 2015

  • 百万数据点上的精确高斯过程

    本文提出了一种可扩展的方法，利用多 GPU 并行化和线性共轭梯度等方法，仅通过矩阵乘法就可以访问核矩阵，将核矩阵乘法进行分区和分配，演示了可以在不到 2 小时内对超过一百万个点进行精确的高斯过程训练，并在规模上进行了比较，表现出显著的性能提升。

    Mar, 2019