基于贝叶斯的留一法交叉验证近似方法应用于高斯潜变量模型

Dec, 2014

基于贝叶斯的留一法交叉验证近似方法应用于高斯潜变量模型

Bayesian leave-one-out cross-validation approximations for Gaussian latent variable models

Aki Vehtari, Tommi Mononen, Ville Tolvanen, Tuomas Sivula, Ole Winther

TL;DR本文主要研究了 Bayesian model 的 Bayesian cross-validation 技术在高斯潜在变量模型中的应用，通过 Laplace method 或 expectation propagation 方法来估计与推断，旨在评估快速方法的准确性和可靠性。实证结果表明，基于 LOO 边缘分布（cavity distribution）的高斯近似法可获得最准确可靠结果。

Abstract

The future predictive performance of a bayesian model can be estimated using Bayesian cross-validation. In this article, we consider Gaussian latent variable models where the integration over the latent values is

bayesian model cross-validation gaussian latent variable models laplace method expectation propagation

发现论文，激发创造

大数据贝叶斯留一验证

模型推理是模型开发的重要部分，Leave-one-out 交叉验证方法在评估模型泛化能力方面普遍适用，但是不适用于大型数据集。我们提出了一种结合近似推理技术和大小为概率比例采样的方法，用于快速评估大型数据集的 LOO 模型，提供了理论和实证结果来说明其性能优良。

Apr, 2019

贝叶斯超越交叉验证：通过最大化期望实现高效准确的岭回归

提出了一种用于调整岭回归的正则化超参数 λ 的新方法，比留一法交叉验证 (LOOCV) 更快速计算，同时产生等效或更好的回归参数估计，尤其在稀疏协变量的情况下。

Oct, 2023

边际似然和交叉验证

本文针对 Bayesian 统计推断中模型拟合的评估方法，提出了一种新思路，即把边缘似然与采用信息熵对数作为评分规则的对于所有大小为 p 的测试数据集迭代得出的穷举式的 leave-p-out 交叉验证等效形式，并探讨了边缘似然对先验选择敏感性的问题。同时，作者提出了累积交叉验证的替代方案。

May, 2019

近似推理的期望传播：自由概率框架

本文研究了期望传播方法在广义线性模型下的渐近特性，并通过自由概率理论提出了一种计算复杂度更低的方法，对于具有渐近自由特性的数据矩阵可以有效应用于微阵列数据的基因选择问题。

Jan, 2018

揭示拉普拉斯近似用于不确定性估计的经验病理

本研究评估了贝叶斯方法在深度学习中用于不确定性估计的方法，重点关注广泛应用的 Laplace 近似及其变体。我们的研究发现，传统的拟合 Hessian 矩阵的方法对于处理超出分布的检测效率产生了负面影响。我们提出了一种不同的观点，认为仅关注优化先验精度可以在超出分布检测中产生更准确的不确定性估计，并保持适度的校准度。此外，我们证明了这种特性与模型的训练阶段无关，而是与其内在性质相关。通过广泛的实验评估，我们证实了我们简化方法在超出分布领域中优于传统方法的优越性。

Dec, 2023

利用留一验证和 WAIC 进行实用贝叶斯模型评估

本研究介绍了一种使用基于后验模拟的参数值估算点外样本预测精度的方法 —— 留一法交叉验证（LOO）和广泛适用信息准则（WAIC），并通过现有的模拟数据绘制快速和稳定的计算过程。同时，使用 Pareto 平滑重要性抽样（PSIS）实现了 LOO 的高效计算，并提出了一种比 AIC 和 DIC 更优的预测误差估计方法，并将这些计算结果运用到 R 代码包中。

Jul, 2015

在高斯过程模型中改善近似推断下的超参数学习

通过将变分推断用于推理，将边缘似然的直接逼近解决与非共轭似然的高斯过程模型的近似推断的问题

Jun, 2023

通过近似留一法估计可扩展的样本外预测误差

研究高维环境下的样本外风险估计问题，介绍了一种计算效率高的闭式近似留一法，适用于大多数正则化估计器，并通过理论分析和实验数据验证了其优秀的绩效表现和实际应用的可行性。

Jan, 2018

贝叶斯优化中线性 Laplace 的优点与缺陷

本文研究了线性化 - Laplace 近似在贝叶斯优化中的应用，探究了它在序列决策问题上的效用和灵活性，同时强调了可能出现的问题和局限性。

Apr, 2023

多元线性回归模型的留一法预测区间

研究了基于留一残差的预测区间在线性回归模型中的应用，该模型的解释变量个数可以比样本大小还大。在对未知错误分布和高维设计做出最小的假设的情况下，建立了所提出区间的统一渐近有效性。预测区间可适用于许多线性预测器，如强健 M 估计量、James-Stein 类估计量以及像 LASSO 的惩罚估计量。这些结果表明，尽管重新采样程序在对未知参数进行推理时存在严重问题，但留一出方法仍可以成功应用于高维数据，以获得可靠的预测推断。

Feb, 2016