广泛适用贝叶斯信息准则
我们引入了一种新颖的信息准则(IC),称为孤立学习(LS),用来增强广泛适用贝叶斯信息准则(WBIC)和奇异贝叶斯信息准则(sBIC)的功能。LS 在没有正则约束的情况下有效,并表现出稳定性,通过将广泛适用信息准则(WAIC)的经验损失与 sBIC 类似的惩罚项相结合,LS 提供了一个灵活且鲁棒的模型选择方法,不受正则约束限制。
Feb, 2024
本文探讨了其 Fisher-information 矩阵可能不可逆的模型选择问题下的序贯模型选择,提出了解决奇异模型选择问题的贝叶斯信息准则(BIC)以及边缘似然的近似方法。
Sep, 2013
本文通过理论分析,证明了 Bayes 交叉验证损失与广泛适用信息准则的随机变量是等价的,并阐明了交叉验证误差和泛化误差之间的关系取决于学习机的代数几何结构。
Apr, 2010
介绍了一种广义信息准则,可以包含其他信息准则(如贝叶斯信息准则(BIC)和赤池信息准则(AIC))作为特殊情况,还引入了一种更为通用的谱信息准则(SIC),采用几何特征提取误差曲线的肘部,为模型选择提供子集合,并提出选择唯一模型的实用规则。测试表明该方案具有优势,并附带提供了相关的 Matlab 代码。
Aug, 2023
本文研究了用于高斯图模型种反向协方差矩阵的稀疏性,说明了贝叶斯信息准则在变量数和样本大小呈线性增长情况下的一致性,并验证了其在与高斯套索结合使用时的性能。
Nov, 2010
利用稀疏非线性动力学算法和信息准则对动力学系统进行模型选择,自动且有原则地选择得到强支持的模型,这个方法能够准确地鉴别出多个基本动力学系统,包括一个 SEIR 疾病模型和 Lorenz 方程。
Jan, 2017
本文讨论了在隐变量模型中使用条件似然度和边缘似然度进行模型比较的问题,并通过比较条件和边缘 Deviance 信息标准和 Watanabe-Akaike 信息标准在心理测量建模中的应用来阐明了这些问题。建议在隐变量模型中普遍应用这些标准。
Feb, 2018
本文提出了一种基于认知信息瓶颈 (Recognizable Information Bottleneck, 简称 RIB) 的方法,旨在通过一种可优化的可识别性批评家,通过 Bregman 散度进行密度比匹配来规范表征的可识别性,从而优化模型并估计其泛化差距。
Apr, 2023