高斯过程回归中共轭梯度和 Lanczos 近似后验收缩率

Jun, 2024

高斯过程回归中共轭梯度和 Lanczos 近似后验收缩率

Contraction rates for conjugate gradient and Lanczos approximate posteriors in Gaussian process regression

Bernhard Stankewitz, Botond Szabo

TL;DR高斯过程回归模型在现代统计学和机器学习中成为一个核心主题，然而在大规模样本中，要得到精确的后验结果是计算上不可行的，因此我们分析了概率数值方法中一类最近提出的近似算法，结合数值分析和 Kernel 矩阵的谱浓度结果得到了极小化收缩速率的理论结果，通过数值实验验证了我们的理论发现。

Abstract

Due to their flexibility and theoretical tractability Gaussian process (GP) regression models have become a central topic in modern statistics and machine learning. While the true posterior in these models is given explicitly, numerical evaluations depend on the inversion of the augmented kernel matrix $ K + \sigma^2 I $, which requires up to $ O(n^3) $ oper

gaussian process regression models approximate version of the posterior probabilistic numerics lanczos approximate eigenvectors minimax contraction rates

发现论文，激发创造

高斯过程的恒定时间预测分布

本文提出一种基于 Lanczos 算法的方法 LOVE（LanczOs Variance Estimates）来解决高斯过程回归的计算瓶颈，大大提高了协方差的计算效率和采样速度。

Mar, 2018

迭代高斯过程何时准确可靠？

通过研究共轭梯度法的容差、预处理器秩和 Lanczos 分解秩，挖掘了基于迭代方法的一般性高斯过程学习中数值不稳定性和测试似然度差异的问题，并在使用小的共轭梯度法容差（ε≤0.01）和大的分解大小（r≥5000）以及 L-BFGS-B 优化器时，提供了简单的纠正建议，同时减少梯度更新次数达到收敛。

Dec, 2021

共轭梯度在高斯过程回归对数边缘似然度上的更紧确界

本文提出一种无需完全核矩阵的矩阵分解即可计算的高斯过程回归模型的对数边际似然的下界。我们通过最大化我们的下界来学习模型参数的近似最大似然方法保留了许多稀疏变分方法的优点，同时减少了参数学习中引入的偏差。我们的方法通过对出现在对数边际似然中的对数行列式项进行更仔细的分析，以及使用共轭梯度法导出涉及二次形式的项的紧凑下界，从而在统一依赖下界最大化的方法和基于共轭梯度的迭代方法的训练高斯过程方面迈出了一步。实验结果表明，相对于其他基于共轭梯度的方法，在相当的训练时间内，我们的模型具有更好的预测性能。

Feb, 2021

高斯过程回归中稀疏变分近似的收缩速率

研究变分贝叶斯方法在高斯过程回归模型中的理论特性，针对 Titsias 引入的感应变量方法推导出相应变分贝叶斯（VB）后验获得收缩速率的充分条件，证明了针对三种特定的协方差核函数（Matern 核函数，平方指数核函数和随机级数先验）VB 方法可以通过适当选取足够多的感应变量实现优化、极小的收缩速率，并通过数值实验验证了理论发现。

Sep, 2021

大规模高斯过程的交替投影

通过基于交替投影的迭代算法，我们提出了一种能够有效进行小批量处理的方法，在解决大规模高斯过程训练的实际挑战中，获得了线性收敛并具有良好的鲁棒性，实验证明在大规模基准数据集上，相比于共轭梯度方法，我们的方法加速了 2 倍到 27 倍。

Oct, 2023

用稀疏矩阵表示加性高斯过程

本文针对加性 Matern 高斯过程，提出基于后向逼近算法的计算方法，计算后验均值、方差、似然函数和梯度的复杂性从 O (n^3) 降低到 O (nlogn)，并应用于贝叶斯优化中，提出了后验更新、超参数学习、习得函数和其梯度的有效算法。

Apr, 2023

低秩协方差矩阵逼近的并行高斯过程回归

本文介绍了两种基于低秩协方差矩阵逼近的并行高斯过程回归方法，这两种方法可以将计算负载分布在并行机器之间以达到时间效率和可伸缩性，并经过理论分析证明了这些方法的预测性能等价于一些集中式的近似高斯过程回归方法，并且在两个真实数据集上的实证评估表明我们的并行高斯过程回归方法比其集中式对应物和全高斯过程方法具有更高的时间效率和可伸缩性，同时实现与全高斯过程方法相当的预测性能。

Aug, 2014

核基学习中的稀疏逼近方法的改进收敛速率

本文针对核方法的高计算成本问题，提出了 Nyström 方法和稀疏变分高斯过程逼近方法的置信区间，从而改进了模型在回归和优化问题中的性能界限。

Feb, 2022

使用随机梯度下降从高斯过程后验分布中进行采样

本论文介绍了通过使用随机梯度算法来近似解决高斯过程中线性系统求解的限制，并利用影响收敛的隐含偏差的谱特点来解释结果，最终在大规模数据集上取得了最先进的预测性能和不确定性估计。

Jun, 2023

稀疏变分高斯过程回归的收敛率

发展了出色的变分逼近高斯过程后验方法，可以避免数据集尺寸为 N 的时间复杂度 O (N³) 的问题，而将计算复杂度降低到 O (NM²) 的程度，M 是总结进程的引出的变量数。结果表明，通过以比 N 更慢的速度增加 M，可以使 KL 散度任意小。

Mar, 2019