Feb, 2013

惩罚似然估计中正则化参数选择的效率

PDF
TL;DR研究表明，AIC 类型准则是非凸惩罚回归方法中调参参数渐进有效的选择器。本文通过放宽假设，证明 AIC 本身是渐进有效的，并研究了其在有限样本中的性能。与其他选择器相比，研究证明修正后的经典 AICc 在惩罚回归中取得了良好的性能，并证明 AIC 对于具有一般候选模型集的广义线性模型是有效的。在 SCAD 惩罚回归和 Lasso 回归上进行了模拟并考虑了实际数据示例。
aicpenalized regressionaiccgeneralized linear modelsscad-penalized
发现论文，激发创造
  • 通过变量选择稳定性实现调参参数的一致性选择

    本文提出了一种基于变量选择稳定性的通用调参方法，通过选择调参，使得结果回归模型在变量选择上更加稳定，并在固定和发散维度下建立了选择一致性，同时在多种模拟示例和前列腺癌数据应用中证明了其有效性。

    Aug, 2012

  • 误设模型中的模型选择原则

    提出了一种用于模型选择的半贝叶斯原则，并通过渐近扩展导出了半贝叶斯信息准则（SIC），该方法在模型正确性和不正确性下的模型选择具有优势。

    May, 2010

  • 基于稀疏回归和信息准则的动态系统模型选择

    利用稀疏非线性动力学算法和信息准则对动力学系统进行模型选择，自动且有原则地选择得到强支持的模型，这个方法能够准确地鉴别出多个基本动力学系统，包括一个 SEIR 疾病模型和 Lorenz 方程。

    Jan, 2017

  • 高维树和图模型中的结构参数选择信息准则

    本文为实现树形和图形模型的结构化选择，精心平衡误差和遗漏，开发了矫正版的 Mallows's Cp 准则。

    Jun, 2023

  • 超高维非凸惩罚回归的校准

    本文研究高维非凸罚函数回归问题，提出了一种易于计算的校准 CCCP 算法和高维 BIC 准则，可以用于解决问题中的多个局部极小值和未知的最优参数。研究结果表明，该方法在高维数据分析中具有良好的性能。

    Nov, 2013

  • SCAD 惩罚最小二乘估计器的渐近谱权质量

    本文研究了在稀疏、高维、线性回归模型中，随着样本大小的增加，协变量数目可能增加时，SCAD 惩罚的最小二乘估计量的渐近特性。我们特别关注该估计量用于同时进行变量选择和估计的情况。我们证明在适当条件下，SCAD 惩罚最小二乘估计量在变量选择方面是一致的，而在非零系数的估计量具有与零系数事先已知的情况下一样的渐进分布，模拟研究表明该估计量在变量选择和估计方面表现良好。

    Sep, 2007

  • 利用留一验证和 WAIC 进行实用贝叶斯模型评估

    本研究介绍了一种使用基于后验模拟的参数值估算点外样本预测精度的方法 —— 留一法交叉验证（LOO）和广泛适用信息准则（WAIC），并通过现有的模拟数据绘制快速和稳定的计算过程。同时，使用 Pareto 平滑重要性抽样（PSIS）实现了 LOO 的高效计算，并提出了一种比 AIC 和 DIC 更优的预测误差估计方法，并将这些计算结果运用到 R 代码包中。

    Jul, 2015

  • 基于惩罚性蒙特卡罗方法的 Ising 模型稀疏估计

    本文中，我们提出了一种 Lasso 惩罚版本的 Monte Carlo 极大似然方法，用于高维二元马尔可夫随机场的模型选择问题。在证明了算法的正确性后，我们还研究了该方法的有效性。

    Dec, 2016

  • 奇异模型的贝叶斯信息准则

    本文探讨了其 Fisher-information 矩阵可能不可逆的模型选择问题下的序贯模型选择，提出了解决奇异模型选择问题的贝叶斯信息准则（BIC）以及边缘似然的近似方法。

    Sep, 2013

  • 自動肘部檢測的頻譜信息準則

    介绍了一种广义信息准则，可以包含其他信息准则（如贝叶斯信息准则（BIC）和赤池信息准则（AIC））作为特殊情况，还引入了一种更为通用的谱信息准则（SIC），采用几何特征提取误差曲线的肘部，为模型选择提供子集合，并提出选择唯一模型的实用规则。测试表明该方案具有优势，并附带提供了相关的 Matlab 代码。

    Aug, 2023