本研究通过 Stein 无偏风险估计(SURE)来探究 lasso 的有效自由度,结果表明非零系数的数量是 lasso 的自由度的无偏估计量之一,不需要特殊的预测假设,并且该无偏估计量被证明是渐近一致的。结合 C_p、AIC 和 BIC 等多种模型选择标准以及 LARS 算法,可以高效地获得最佳的 lasso 拟合,计算成本与单个普通最小二乘拟合相当。
Dec, 2007
该论文考虑了在统计建模中十分重要的自由度问题,并针对正交预测变量的最佳子集选择问题推导出了精确的自由度表达式。同时,提出了自适应回归算法的搜索自由度概念,最后进一步探讨了反常函数的 Stein 公式在自由度和搜索自由度计算中的潜在作用。
Feb, 2014
本文研究了线性回归模型的惩罚 L1 最小化(也称为 Lasso)的自由度(DOF),给出了 Lasso 响应的 DOF 的闭合形式表达式,证明了在任何给定的 Lasso 正则化参数 λ 和任何观测数据 y 属于完整集(勒贝格)测度的情况下,特定 Lasso 问题的支持基数是 DOF 的一个无偏估计量,而无需 Lasso 解的唯一性。因此,我们的结果适用于欠定和过定的情况,最后通过几个数字模拟验证了我们的理论结果。
Nov, 2011
该研究推导了套索拟合的自由度,对预测矩阵和惩罚矩阵没有任何假设,结果以套索解的活跃集为基础,扩展到了任意预测矩阵和任意惩罚矩阵的广义套索拟合。
本文研究如何消除 Lasso 在线性模型中的偏差,并构建置信区间,提出一个自由度调整方法,以在各种稀疏度下优化效率。实证结果证明,本方法在大多数情况下具有更高的效率,并提供了一种新的处理密集 $a_0$ 的方法。
Feb, 2019
该论文提出了针对广泛问题的 Stein 无偏风险估计方法,扩展了 SURE 设计技术,并建议了一种基于正则化 SURE 目标的小波去噪策略,可以改善均方误差性能。
Apr, 2008
本文提出一种针对噪声干扰下低秩数据矩阵恢复的无偏风险估计方法,特别是针对奇异值阈值软阈值规则(SVT)进行了风险估计,为一系列问题中的正则化参数选择提供了有机而自动化的方法,该方法可用于真实临床心脏 MRI 系列数据的 SVT 降噪,同时提出了某些矩阵值函数的可微性新结果。
Oct, 2012
这篇论文提供了一个统一的框架,以建立在高维缩放下的正则化 M - 估计量的一致性和收敛速度,指出限制强凸性和可分解性是确保对应的正则化 M- 估计有快速收敛速度的两个关键特性,这些特性在许多经典案例中也是最优的
Oct, 2010
本文提出一种新的充分降维 (SDR) 的方法,该方法以协变量 $X$ 与响应 $Y$ 的条件独立性为基础,并以再生核希尔伯特空间上的条件协方差算子来表征该条件独立性断言,从而实现了对中心子空间的 $M$- 估计。
Aug, 2009
本文提出了一种使用 Stein 无偏风险估计(SURE)和弱梯度(SUGAR)来优化模型连续参数集合的方法,旨在解决使用非平滑正则化(如软阈值)时,SURE 成为参数的不连续函数而不能使用渐变下降优化技术的问题。同时,本文还给出了 SUGAR 应用于正则化问题的实例研究。
May, 2014