Nov, 2011

一般设计矩阵下 Lasso 的自由度

PDF
TL;DR本文研究了线性回归模型的惩罚 L1 最小化（也称为 Lasso）的自由度（DOF），给出了 Lasso 响应的 DOF 的闭合形式表达式，证明了在任何给定的 Lasso 正则化参数 λ 和任何观测数据 y 属于完整集（勒贝格）测度的情况下，特定 Lasso 问题的支持基数是 DOF 的一个无偏估计量，而无需 Lasso 解的唯一性。因此，我们的结果适用于欠定和过定的情况，最后通过几个数字模拟验证了我们的理论结果。
degrees of freedomlassolinear regressionregularization parameterlebesgue measure
发现论文，激发创造
  • Lasso 问题中的自由度

    该研究推导了套索拟合的自由度，对预测矩阵和惩罚矩阵没有任何假设，结果以套索解的活跃集为基础，扩展到了任意预测矩阵和任意惩罚矩阵的广义套索拟合。

    Nov, 2011

  • 套索法的 “自由度

    本研究通过 Stein 无偏风险估计（SURE）来探究 lasso 的有效自由度，结果表明非零系数的数量是 lasso 的自由度的无偏估计量之一，不需要特殊的预测假设，并且该无偏估计量被证明是渐近一致的。结合 C_p、AIC 和 BIC 等多种模型选择标准以及 LARS 算法，可以高效地获得最佳的 lasso 拟合，计算成本与单个普通最小二乘拟合相当。

    Dec, 2007

  • 基于自由度调整的 Lasso 去偏

    本文研究如何消除 Lasso 在线性模型中的偏差，并构建置信区间，提出一个自由度调整方法，以在各种稀疏度下优化效率。实证结果证明，本方法在大多数情况下具有更高的效率，并提供了一种新的处理密集 $a_0$ 的方法。

    Feb, 2019

  • 部分平滑正则化的自由度

    本文考虑正则化回归问题，其中先验正则化器是一个凸函数并对于黎曼子流形是部分光滑的，我们研究了任何正则化最小化器对观察值微小扰动的敏感性，并提供了其精确的本地参数化。我们的主要敏感性分析结果表明，在观测变化微小地情况下，预测变化在同一活动子流形上局部稳定。

    Apr, 2014

  • 广义 Lasso 的解路径

    本文提出了一种计算广义套索问题路径的基于对偶问题的算法，能够解决广泛的应用场景，并通过对 $I$ 的情况，与 LARS 算法建立联系，并导出了广义套索拟合的自由度的无偏估计，该估计在很多应用中都非常直观。

    May, 2010

  • 多元回归中降秩估计量的自由度

    研究了降秩估计器在 Stein 的无偏风险估计中的自由度和模型选择问题，并提出了一种能够提高预测风险估计和模型选择精度的闭合形式估计器。

    Oct, 2012

  • Lasso 分布：稀疏球的统一控制和自适应参数调整

    研究证明，对于一个标准的随机设计模型，在高维回归 Lasso 估计器和高斯去噪器之间的统计关系和正则化参数的性能方面存在稳健的理论和计算结果。

    Nov, 2018

  • Lasso 惩罚回归的坐标下降算法

    本文研究了基于 lasso 惩罚的回归问题，并提出了两个非常快的算法来估计回归系数，其中一个算法基于循环坐标下降，而另一个基于贪心坐标下降和 Edgeworth 的算法。此外，如果对参数进行分组并对每个组进行惩罚，则可以将现有算法扩展到新领域。

    Mar, 2008

  • 高维回归假设检验的几乎最优样本大小

    针对高维线性回归模型的参数拟合问题，考虑基于 Lasso 惩罚的最小二乘估计器的置信区间和 p 值的构造及去偏的版本，进一步在随机设计模型的情形下进行研究，并提出了更优的平均检测功率的分析结果。

    Nov, 2013

  • 自由度与模型搜索

    该论文考虑了在统计建模中十分重要的自由度问题，并针对正交预测变量的最佳子集选择问题推导出了精确的自由度表达式。同时，提出了自适应回归算法的搜索自由度概念，最后进一步探讨了反常函数的 Stein 公式在自由度和搜索自由度计算中的潜在作用。

    Feb, 2014