通过变量选择稳定性实现调参参数的一致性选择
本文简要介绍了高维统计推断中变量选择的理论、方法和实现的最近发展,强调单峰罚函数的统计性质及其在高维统计建模中的作用,同时还回顾了独立筛选和两种方法在超高维变量选择方面的最近进展。
Oct, 2009
研究表明,AIC 类型准则是非凸惩罚回归方法中调参参数渐进有效的选择器。本文通过放宽假设,证明 AIC 本身是渐进有效的,并研究了其在有限样本中的性能。与其他选择器相比,研究证明修正后的经典 AICc 在惩罚回归中取得了良好的性能,并证明 AIC 对于具有一般候选模型集的广义线性模型是有效的。在 SCAD 惩罚回归和 Lasso 回归上进行了模拟并考虑了实际数据示例。
Feb, 2013
提出一种基于贝叶斯方法、将先验分布放置在回归系数以及模型空间上、使用针对高维协变量的针尖和板块高斯先验、通过 Gibbs 抽样执行的变量选择方法,具有可靠的选择一致性和优于其他方法的良好性能。
May, 2014
本文讨论了在高维模型中进行变量选择时可以给出什么样的统计保证,并以某些多阶段回归方法的误差率和功率为例。我们考虑了三种筛选方法:套索、边际回归和前向逐步回归,提出了在某些条件下一致的变量选择方法。
Apr, 2007
本文探讨了惩罚估计准则在具有有限维结构参数和高维稀疏偶发参数的线性回归模型中的应用,得到了结构参数估计量的一致性和渐近正态性,但偶发参数估计量只具有部分选择一致性,提出了有关的两步惩罚估计方法,并提供了基于数据选取惩罚项正则化参数的方法,最后通过模拟和真实数据分析评估了结构参数的有限样本表现。
Oct, 2012
本论文探讨了利用 $\ell_1$ 和 $\ell_1+\ell_2$ 型惩罚方案进行有限样本下的变量选择的正确方法,并研究了在给定的置信水平下,如何通过样本大小、参数数量等因素来确定信号强度和调整参数值的条件。同时,该文分析证明了在可识别模型中,这两种方法均可以恢复大小为 $1/\sqrt {n}$ 的系数。
Aug, 2008
该论文对比了几种在实际模型选择问题中广泛使用的贝叶斯模型选择方法,重点关注回归和分类的变量子集选择,并使用模拟和现实世界的数据进行了几次数值实验。结果表明,考虑到模型不确定性是预测效果最好的。此外,投影法明显优于交叉验证得分的基于选择的方法,并且交叉验证在指导模型大小选择和评估最终选择的模型的预测性能方面大有裨益。
Mar, 2015
利用条件瓦狄斯坦生成对抗网络进行建模和估计,应用组 Lasso 惩罚实现变量选择,分析受截尾生存数据的收敛率、近似误差和效率,以及通过仿真和实验数据分析实际应用中的实用性。
Feb, 2024
通过调整回归分析中的稳定和不稳定预测来考虑不同实验或环境的分布变化,引入了稳定回归分析的方法,使之前未见过的环境下的回归能力得到优化,应用于系统生物学研究中的假设生成并与因果模型建立理论关联,给出了优化的稳定点,并证明了在该点回归预测模型的预测误差最小。
Nov, 2019