高斯过程的拉普拉斯近似方法作为模型选择准则

Mar, 2024

高斯过程的拉普拉斯近似方法作为模型选择准则

On the Laplace Approximation as Model Selection Criterion for Gaussian Processes

Andreas Besginow, Jan David Hüwel, Thomas Pawellek, Christian Beecks, Markus Lange-Hegermann

TL;DR通过引入基于拉普拉斯近似的多种度量标准，我们解决了之前在高斯过程模型的模型选择中存在的性能和运行时间问题，并且在不损失计算速度的情况下，我们的度量标准在质量上与黄金标准动态嵌套采样相当，允许更快速、高质量地对高斯过程模型进行模型选择。

Abstract

model selection aims to find the best model in terms of accuracy, interpretability or simplicity, preferably all at once. In this work, we focus on evaluating model performance of gaussian process models, i.e. fi

model selection gaussian process models metric laplace approximation computational speed

发现论文，激发创造

在线拉普拉斯模型选择再探

本文重新推导了在线 Laplace 方法，表明它们针对一种在模型选择问题中纠正了模态的 Laplace 证据的变分界。在线 Laplace 方法以及其纠正模态的版本在近乎平稳点上实现最优解，通过应用于 UCI 回归数据集，优化关键参数并防止过拟合，优于传统的早期停止方法。

Jul, 2023

近似高斯过程的基准线和基准测试建议

高斯过程是机器学习工具箱中成熟且广泛使用的组成部分之一。论文提出了一种基于方法所期望的指标来比较高斯过程的近似方法的建议，并开发了一种训练过程，使用户不需要进行选择。研究结果表明，根据这些建议进行基准测试可以更清楚地了解领域的当前状况，并揭示了未来研究需要解决的问题。

Feb, 2024

高斯过程回归近似方法评估框架

本文通过对 4 个预测问题进行 4 种不同近似算法的实证研究，考察预测质量与计算时间之间的关系，并将实验代码共享，以鼓励未来的比较研究。

May, 2012

利用 Fisher 度量的黎曼拉普拉斯近似

拉普拉斯方法是一种近似目标密度函数的高斯分布方法，通过选择黎曼几何进行变换，可以提供更丰富的近似函数族，具有计算效率高的优点，并且通过引入两个可选的变种提高了无限数据极限下的准确性。

Nov, 2023

物理启发式方法探索理解高斯过程

本文研究了高斯过程模型中决策过程的损失景观，着重探讨了 Matern 核函数、紧急点的相关性质以及 $ u$ 的超参数优化问题，为 GP 模型的解释性和性能提升提供了实用的指导。

May, 2023

潜在高斯过程模型的 Vecchia-Laplace 近似的迭代方法

通过提出几种推理方法，我们对 Vecchia-Laplace 逼近可以进行更快的计算，并且在速度和预测准确性方面相对于基于 Cholesky 的方法有显著的改进。

Oct, 2023

空间过程近似：评估其必要性

在空间统计和机器学习中，核矩阵在预测、分类和最大似然估计中起着关键作用。对于大样本量情况，经彻底检查发现，只要采样位置相对均匀分布，核矩阵就会出现病态，这给预测和估计计算中使用的数值算法带来了重大挑战，需要对预测和高斯似然进行近似处理。对当前管理大规模空间数据的方法进行综述表明，一些方法未能解决这个病态问题。这种病态经常导致随机过程的低秩近似。本文引入了各种最佳性准则，并提供了相应的解决方案。

Nov, 2023

高斯过程替代评估的保证覆盖的一致方法

通过将非一致性得分与高斯过程的后验标准差加权，提出了构建自适应交叉一致性预测区间的方法，这些预测区间具有类似于贝叶斯可信区间的适应性水平，并且在没有基础模型假设的情况下具有频率覆盖保证，可以用于评估高斯过程代理模型的质量，并帮助决策者选择最适合特定应用的最佳先验。

Jan, 2024

使用神经切向核的随机边缘似然梯度

本研究介绍了一种基于贝叶斯模型选择和拉普拉斯逼近的方法，通过引入下界到边缘似然的线性化拉普拉斯逼近，用于选择深度学习的超参数优化，该方法可以使用随机梯度基于优化，并可以利用神经切向核估计。实验结果表明，该估计器可以显着加速基于梯度的超参数优化。

Jun, 2023

基于贝叶斯的留一法交叉验证近似方法应用于高斯潜变量模型

本文主要研究了 Bayesian model 的 Bayesian cross-validation 技术在高斯潜在变量模型中的应用，通过 Laplace method 或 expectation propagation 方法来估计与推断，旨在评估快速方法的准确性和可靠性。实证结果表明，基于 LOO 边缘分布（cavity distribution）的高斯近似法可获得最准确可靠结果。

Dec, 2014