May, 2024

通过集群网络信息准则（NICc）快速进行离群交叉验证

PDF
TL;DR本研究介绍了一种网络信息准则（NICc）的聚类估计器，用于近似一类群交叉验证离群排除差异。实验结果表明，与 AIC 和 BIC 相比，NICc 更准确地选择模型，并在模型选择中更有效地防止过拟合。
clustered estimatornetwork information criterionmodeling clustered dataniccoverfitting
发现论文，激发创造
  • 奇异学习理论中的贝叶斯交叉验证与广泛适用信息准则的渐近等价性

    本文通过理论分析，证明了 Bayes 交叉验证损失与广泛适用信息准则的随机变量是等价的，并阐明了交叉验证误差和泛化误差之间的关系取决于学习机的代数几何结构。

    Apr, 2010

  • 利用留一验证和 WAIC 进行实用贝叶斯模型评估

    本研究介绍了一种使用基于后验模拟的参数值估算点外样本预测精度的方法 —— 留一法交叉验证（LOO）和广泛适用信息准则（WAIC），并通过现有的模拟数据绘制快速和稳定的计算过程。同时，使用 Pareto 平滑重要性抽样（PSIS）实现了 LOO 的高效计算，并提出了一种比 AIC 和 DIC 更优的预测误差估计方法，并将这些计算结果运用到 R 代码包中。

    Jul, 2015

  • 优化器信息准则：分析和修正数据驱动优化中的偏差

    该论文提出了一种基于优化器信息准则 (OIC) 的偏差修正方法，直接近似一阶偏差，不需要解决任何额外的优化问题。该方法可以用于决策选择，适用于各种数据驱动优化方案，并在合成和真实数据集上进行了数值验证，表现卓越。

    Jun, 2023

  • 关于插值信息准则的 PAC-Bayesian 观点

    深度学习在理论和实践之间存在理论实践差距，最近的研究关注了过拟合现象及其影响因素，提出了插值信息准则来研究过参数化模型的性能和泛化能力。

    Nov, 2023

  • 惩罚似然估计中正则化参数选择的效率

    研究表明，AIC 类型准则是非凸惩罚回归方法中调参参数渐进有效的选择器。本文通过放宽假设，证明 AIC 本身是渐进有效的，并研究了其在有限样本中的性能。与其他选择器相比，研究证明修正后的经典 AICc 在惩罚回归中取得了良好的性能，并证明 AIC 对于具有一般候选模型集的广义线性模型是有效的。在 SCAD 惩罚回归和 Lasso 回归上进行了模拟并考虑了实际数据示例。

    Feb, 2013

  • 广泛适用贝叶斯信息准则

    本文研究统计学习模型在正则和奇异情况下的 Bayes free energy 和 real log canonical threshold 的关系，提出了一种适用于奇异模型的广义贝叶斯信息准则（WBIC），这是基于后验分布的平均对数似然函数计算得出的一种新准则。

    Aug, 2012

  • 高斯图模型的拓展贝叶斯信息准则

    本文研究了用于高斯图模型种反向协方差矩阵的稀疏性，说明了贝叶斯信息准则在变量数和样本大小呈线性增长情况下的一致性，并验证了其在与高斯套索结合使用时的性能。

    Nov, 2010

  • 关于不确定性惩罚的贝叶斯信息准则

    使用不确定性惩罚信息准则（UBIC）等同于对一组不同复杂性度量的潜在回归模型的过参数化模型使用传统的 BIC 进行模型选择。

    Apr, 2024

  • 基于核的近似条件独立性检验，用于快速的非参数因果关系发现

    该研究提出了两种基于随机特征的条件独立性检验方法 RCIT 和 RCoT，它们可以近似替代 KCIT，在大样本情况下比 KCIT 更快更准确，同时应用于 CCD 算法可以提高算法的运行效率。

    Feb, 2017

  • 奇异模型的贝叶斯信息准则

    本文探讨了其 Fisher-information 矩阵可能不可逆的模型选择问题下的序贯模型选择，提出了解决奇异模型选择问题的贝叶斯信息准则（BIC）以及边缘似然的近似方法。

    Sep, 2013