Jul, 2015

利用留一验证和 WAIC 进行实用贝叶斯模型评估

PDF
TL;DR本研究介绍了一种使用基于后验模拟的参数值估算点外样本预测精度的方法 —— 留一法交叉验证（LOO）和广泛适用信息准则（WAIC），并通过现有的模拟数据绘制快速和稳定的计算过程。同时，使用 Pareto 平滑重要性抽样（PSIS）实现了 LOO 的高效计算，并提出了一种比 AIC 和 DIC 更优的预测误差估计方法，并将这些计算结果运用到 R 代码包中。
leave-one-out cross-validationwidely applicable information criterionbayesian modelpredictive errorr package
发现论文，激发创造
  • 大数据贝叶斯留一验证

    模型推理是模型开发的重要部分，Leave-one-out 交叉验证方法在评估模型泛化能力方面普遍适用，但是不适用于大型数据集。我们提出了一种结合近似推理技术和大小为概率比例采样的方法，用于快速评估大型数据集的 LOO 模型，提供了理论和实证结果来说明其性能优良。

    Apr, 2019

  • 基于贝叶斯的留一法交叉验证近似方法应用于高斯潜变量模型

    本文主要研究了 Bayesian model 的 Bayesian cross-validation 技术在高斯潜在变量模型中的应用，通过 Laplace method 或 expectation propagation 方法来估计与推断，旨在评估快速方法的准确性和可靠性。实证结果表明，基于 LOO 边缘分布（cavity distribution）的高斯近似法可获得最准确可靠结果。

    Dec, 2014

  • 对于 S 型分类模型的贝叶斯留一交叉验证的梯度流自适应重要性采样

    通过梯度流引导的自适应重要性采样变换，稳定了贝叶斯分类模型点状留一个交叉验证（LOO）预测的蒙特卡罗近似，可以利用此方法评估模型的普及性。

    Feb, 2024

  • 奇异学习理论中的贝叶斯交叉验证与广泛适用信息准则的渐近等价性

    本文通过理论分析，证明了 Bayes 交叉验证损失与广泛适用信息准则的随机变量是等价的，并阐明了交叉验证误差和泛化误差之间的关系取决于学习机的代数几何结构。

    Apr, 2010

  • 通过集群网络信息准则（NICc）快速进行离群交叉验证

    本研究介绍了一种网络信息准则（NICc）的聚类估计器，用于近似一类群交叉验证离群排除差异。实验结果表明，与 AIC 和 BIC 相比，NICc 更准确地选择模型，并在模型选择中更有效地防止过拟合。

    May, 2024

  • 边际似然和交叉验证

    本文针对 Bayesian 统计推断中模型拟合的评估方法，提出了一种新思路，即把边缘似然与采用信息熵对数作为评分规则的对于所有大小为 p 的测试数据集迭代得出的穷举式的 leave-p-out 交叉验证等效形式，并探讨了边缘似然对先验选择敏感性的问题。同时，作者提出了累积交叉验证的替代方案。

    May, 2019

  • 潜变量模型的贝叶斯比较：条件似然 vs 边缘似然

    本文讨论了在隐变量模型中使用条件似然度和边缘似然度进行模型比较的问题，并通过比较条件和边缘 Deviance 信息标准和 Watanabe-Akaike 信息标准在心理测量建模中的应用来阐明了这些问题。建议在隐变量模型中普遍应用这些标准。

    Feb, 2018

  • 通过近似留一法估计可扩展的样本外预测误差

    研究高维环境下的样本外风险估计问题，介绍了一种计算效率高的闭式近似留一法，适用于大多数正则化估计器，并通过理论分析和实验数据验证了其优秀的绩效表现和实际应用的可行性。

    Jan, 2018

  • 惩罚似然估计中正则化参数选择的效率

    研究表明，AIC 类型准则是非凸惩罚回归方法中调参参数渐进有效的选择器。本文通过放宽假设，证明 AIC 本身是渐进有效的，并研究了其在有限样本中的性能。与其他选择器相比，研究证明修正后的经典 AICc 在惩罚回归中取得了良好的性能，并证明 AIC 对于具有一般候选模型集的广义线性模型是有效的。在 SCAD 惩罚回归和 Lasso 回归上进行了模拟并考虑了实际数据示例。

    Feb, 2013

  • 理解贝叶斯模型的预测信息准则

    本文从贝叶斯角度回顾了 Akaike、偏差和 Watanabe-Akaike 信息准则，比较这些方法在三个简单的例子中的应用，以及在预测背景下估计预期的样本外预测误差。

    Jul, 2013