本文通过对4个预测问题进行4种不同近似算法的实证研究，考察预测质量与计算时间之间的关系，并将实验代码共享，以鼓励未来的比较研究。

May, 2012

提出了利用Chebyshev、Lanczos和代理模型的随机估计方法，从只有快速矩阵-向量乘法（MVM）的情况下，估计大小为$n imes n$的正定矩阵及其导数的对数行列式。这种方法可以有效地解决Gaussian process等问题中的矩阵计算问题。研究发现，在Chebyshev和Lanczos中，Lanczos通常优于Chebyshev，而采用代理方法的速度快且准确。

Nov, 2017

本文提出一种基于Lanczos算法的方法LOVE（LanczOs Variance Estimates）来解决高斯过程回归的计算瓶颈，大大提高了协方差的计算效率和采样速度。

Mar, 2018

发展了出色的变分逼近高斯过程后验方法，可以避免数据集尺寸为N的时间复杂度O(N³)的问题，而将计算复杂度降低到O(NM²)的程度，M是总结进程的引出的变量数。结果表明，通过以比N更慢的速度增加M，可以使KL散度任意小。

Mar, 2019

本文研究高斯过程在模型不精确的情况下对函数均值的影响，并阐述了如何通过实验设计和核函数参数的选择来减少模型误差。

Jan, 2020

本文提出一种无需完全核矩阵的矩阵分解即可计算的高斯过程回归模型的对数边际似然的下界。我们通过最大化我们的下界来学习模型参数的近似最大似然方法保留了许多稀疏变分方法的优点，同时减少了参数学习中引入的偏差。我们的方法通过对出现在对数边际似然中的对数行列式项进行更仔细的分析，以及使用共轭梯度法导出涉及二次形式的项的紧凑下界，从而在统一依赖下界最大化的方法和基于共轭梯度的迭代方法的训练高斯过程方面迈出了一步。实验结果表明，相对于其他基于共轭梯度的方法，在相当的训练时间内，我们的模型具有更好的预测性能。

Feb, 2021

研究稀疏逼近方法在进行核方法和高斯过程（GPs）的大规模数据方面的连接，着重于Nyström方法和Sparse Variational Gaussian Processes （SVGP）。在回归问题的上下文中，提供一种RKHS解释SVGP逼近，并且展示了其Evidence Lower Bound 包含了Nyström逼近的目标函数，揭示了两种方法之间的代数等价性的来源。此外，研究了SVGP的最近建立的收敛结果以及它们与Nyström方法的逼近质量之间的关系。

Jun, 2021

通过研究共轭梯度法的容差、预处理器秩和Lanczos分解秩，挖掘了基于迭代方法的一般性高斯过程学习中数值不稳定性和测试似然度差异的问题，并在使用小的共轭梯度法容差（ε≤0.01）和大的分解大小（r≥5000）以及L-BFGS-B优化器时，提供了简单的纠正建议，同时减少梯度更新次数达到收敛。

Dec, 2021

高斯过程常用于数据的随机函数逼近和不确定性量化，在机器学习中它们表现出优秀的预测能力，尤其在数据稀缺场景下，但核函数作为高斯过程的重要构建模块，通常需要进行复杂的定制，我们通过研究代表性数据集中多种核函数的表现、性质和性能，提出了一种融合现有核函数优点的新核函数。

Sep, 2023

高斯过程是灵活的概率回归模型，但其计算规模受限；本文提出了全尺度近似方法，通过预测过程和协方差截尾相结合，减少计算开销，并引入新的预处理器和迭代方法以提高计算速度和预测方法准确度，在实验中证明它相较于现有方法在减少计算时间的同时，具备相同的准确性；此外，也比较了确定预测过程和全尺度近似模型中诱导点的不同方法。

May, 2024