将超参数优化扩展到非常大的数据集仍然是高斯过程领域中一个未解决的问题。本文侧重于使用线性系统求解器（如共轭梯度、交替投影或随机梯度下降）构建边缘似然梯度的估计的迭代方法。我们讨论了三个可用于所有求解器的关键改进：（i）路径梯度估计器，减少了求解器迭代次数的要求并分摊了预测的计算成本，（ii）使用前一步的解来热启动线性系统求解器，导致更快的求解器收敛速度且误差可以忽略，（iii）在有限的计算预算后及早停止线性系统求解器，与热启动相协同，允许求解器进展在多个边缘似然步骤中积累。这些技术在达到容忍度时提供了高达 72 倍的加速，并在早停止时将平均残差范数降低了 7 倍。

May, 2024

本研究提出了利用贝叶斯优化预热的框架，用于减少在解决一系列相关问题中所需的解决时间。该方法可用于优化随机模拟器的输出，而渐变优化方法则无法胜任。我们的方法建立了一个相关目标函数的联合统计模型，并使用信息价值计算来推荐要评估的点。

Aug, 2016

本文提出一种无需完全核矩阵的矩阵分解即可计算的高斯过程回归模型的对数边际似然的下界。我们通过最大化我们的下界来学习模型参数的近似最大似然方法保留了许多稀疏变分方法的优点，同时减少了参数学习中引入的偏差。我们的方法通过对出现在对数边际似然中的对数行列式项进行更仔细的分析，以及使用共轭梯度法导出涉及二次形式的项的紧凑下界，从而在统一依赖下界最大化的方法和基于共轭梯度的迭代方法的训练高斯过程方面迈出了一步。实验结果表明，相对于其他基于共轭梯度的方法，在相当的训练时间内，我们的模型具有更好的预测性能。

Feb, 2021

通过基于交替投影的迭代算法，我们提出了一种能够有效进行小批量处理的方法，在解决大规模高斯过程训练的实际挑战中，获得了线性收敛并具有良好的鲁棒性，实验证明在大规模基准数据集上，相比于共轭梯度方法，我们的方法加速了 2 倍到 27 倍。

Oct, 2023

本文提出了一种基于 Gr"obner bases 算法构建满足线性微分方程的多输出高斯过程先验分布的方法，并将其应用于物理、地球数学和控制等多个领域，将随机学习和计算机代数学相结合，实现了噪声观测和精密计算的结合。

Jan, 2018

本文提出了一种基于伪边缘法的马尔可夫链蒙特卡罗通用策略，有效地解决了使用高斯过程先验的精确贝叶斯推理和模型参数不确定性导致的数据预测问题。此外，Monte Carlo 积分可用于预测中的所有模型参数，这在高斯过程的层次统计模型中具有重要意义，并与最先进的概率分类器进行了广泛的比较。

Oct, 2013

在这项工作中，我们提出了一种新颖的可控 Pareto 集学习 (Co-PSL) 方法，旨在解决现有无导数 PSL 方法在昂贵的黑盒多目标优化问题中不稳定和低效的问题，通过两个阶段的功能：(1) 使用贝叶斯优化进行预热，以获得高质量的高斯过程先验；(2) 可控 Pareto 集学习，准确获得从偏好到相应 Pareto 解的参数映射，以实现对冲突目标之间的实时权衡控制。综合合成和现实世界的多目标优化问题的性能展示了 Co-PSL 的有效性。

Nov, 2023

我们介绍了一个机器学习框架，用于启动固定点优化算法；我们的架构由一个神经网络和一定数量的固定点迭代组成；我们提出了两个损失函数，其中一个用于最小化固定点残差，另一个用于最小化到参考解的距离；我们的架构具有灵活性，可以预测任意步骤下的固定点算法的启动；我们提供了对常见类别的固定点算子（收敛、线性和平均）的未见数据的 PAC-Bayes 泛化界限；将该框架应用于控制、统计和信号处理等领域的知名应用可以显著减少求解这些问题所需的迭代次数和解决时间。

Sep, 2023

通过研究共轭梯度法的容差、预处理器秩和 Lanczos 分解秩，挖掘了基于迭代方法的一般性高斯过程学习中数值不稳定性和测试似然度差异的问题，并在使用小的共轭梯度法容差（ε≤0.01）和大的分解大小（r≥5000）以及 L-BFGS-B 优化器时，提供了简单的纠正建议，同时减少梯度更新次数达到收敛。

Dec, 2021

本文提出了一种基于多重自适应贝叶斯线性回归模型以及共享前馈神经网络的大规模无梯度黑箱函数优化方法，能够更好地处理大量样本数据以及跨机器学习问题的知识传递。

Dec, 2017