通过基于交替投影的迭代算法，我们提出了一种能够有效进行小批量处理的方法，在解决大规模高斯过程训练的实际挑战中，获得了线性收敛并具有良好的鲁棒性，实验证明在大规模基准数据集上，相比于共轭梯度方法，我们的方法加速了 2 倍到 27 倍。

Oct, 2023

通过研究共轭梯度法的容差、预处理器秩和 Lanczos 分解秩，挖掘了基于迭代方法的一般性高斯过程学习中数值不稳定性和测试似然度差异的问题，并在使用小的共轭梯度法容差（ε≤0.01）和大的分解大小（r≥5000）以及 L-BFGS-B 优化器时，提供了简单的纠正建议，同时减少梯度更新次数达到收敛。

Dec, 2021

提出了两种可扩展的高斯过程回归方法，通过应用变分推断和直接处理后验预测分布来改善模型预测不确定性。

Oct, 2019

本文提出了一种用于高斯过程建模的新方法，其中计算要求随着数据集的大小呈线性比例增长，与天文时间序列数据的应用作为例子，演示了此方法可用于概率推断星体旋转周期、星震振荡谱和凌星行星参数等问题，具有快速、可解释、可适用于天文数据分析和其他领域等优点。

Mar, 2017

本文回顾和分析了当前流行的可扩展高斯过程回归模型的局部和全局逼近方法，主要包括稀疏逼近、混合专家模型和产品专家模型，并探讨了这些模型在数据规模大的情况下的应用前景。

Jul, 2018

将超参数优化扩展到非常大的数据集仍然是高斯过程领域中一个未解决的问题。本文侧重于使用线性系统求解器（如共轭梯度、交替投影或随机梯度下降）构建边缘似然梯度的估计的迭代方法。我们讨论了三个可用于所有求解器的关键改进：（i）路径梯度估计器，减少了求解器迭代次数的要求并分摊了预测的计算成本，（ii）使用前一步的解来热启动线性系统求解器，导致更快的求解器收敛速度且误差可以忽略，（iii）在有限的计算预算后及早停止线性系统求解器，与热启动相协同，允许求解器进展在多个边缘似然步骤中积累。这些技术在达到容忍度时提供了高达 72 倍的加速，并在早停止时将平均残差范数降低了 7 倍。

May, 2024

本论文介绍了通过使用随机梯度算法来近似解决高斯过程中线性系统求解的限制，并利用影响收敛的隐含偏差的谱特点来解释结果，最终在大规模数据集上取得了最先进的预测性能和不确定性估计。

Jun, 2023

本文提出了结合 inducing points 和 state-space formulation 的方法，并给出了相应的 varitational parameterisation 公式，该方法在深度高斯过程模型中的应用效果明显。

Jan, 2020

本篇论文提出了一种组合变分方法和光谱表示的高斯过程近似算法，通过研究高斯过程的光谱特征和协方差，进行了相关推导和分析，并将该算法应用于 Matern 核和高维数据的处理中，结果表明该算法在计算速度和精度方面都表现出色。

Nov, 2016

本文旨在分析摒弃高代价运算的精确方法所使用的良好稀疏逼近方法，通过理论和实例分析 FITC 和 VFE 方法在回归中的表现并得出了指导实践的结论。

Jun, 2016