Aug, 2009

关于带有 L1 正则化的最小二乘回归的一些尖锐性能界

TL;DR通过参数估计准确性和特征选择质量两个角度,我们得出了最小二乘回归与 $L_1$ 正则化的性能边界。对于 $L_1$ 正则化得出的主要结果扩展了 Dantzig 选择器中 [Ann.Statist.35 (2007) 2313-2351] 类似的结果,并肯定回答了 [Ann.Statist.35 (2007) 2358-2364] 中的一个未解问题。此外,该结果还产生了一种更广泛的特征选择观点,该观点比一些最近的工作具有更少的约束条件。基于理论洞察力,我们分析了具有选择性处罚的新型两阶段 $L_1$ 正则化过程,并表明如果目标参数向量可以分解为具有大系数的稀疏参数向量和具有相对较小系数的其他较少稀疏向量的总和,则两阶段过程可以提高性能。