Aug, 2008

基于 $l_1$ 和 $l_1+l_2$ 惩罚的线性和逻辑回归模型中的诚实变量选择

PDF
TL;DR本论文探讨了利用 $\ell_1$ 和 $\ell_1+\ell_2$ 型惩罚方案进行有限样本下的变量选择的正确方法，并研究了在给定的置信水平下，如何通过样本大小、参数数量等因素来确定信号强度和调整参数值的条件。同时，该文分析证明了在可识别模型中，这两种方法均可以恢复大小为 $1/\sqrt {n}$ 的系数。
variable selection$\ell_1$ and $\ell_1+\ell_2$ penalizationlogistic and linear regressionasymptotic consistencyidentifiability
发现论文，激发创造
  • 使用 $l_1$ 惩罚的高维线性混合效应模型估计

    本研究提出了一种针对高维线性混合效应模型的 $\ell_1$- 惩罚估计过程，该模型对于高维观测中存在分组结构的数据非常有用。我们证明了一致性和优化性结果，并开发了一种具有可证明数值收敛性的算法。此外，我们还在模拟和实际高维数据集上展示了该方法的性能。

    Feb, 2010

  • 关于带有 L1 正则化的最小二乘回归的一些尖锐性能界

    通过参数估计准确性和特征选择质量两个角度，我们得出了最小二乘回归与 $L_1$ 正则化的性能边界。对于 $L_1$ 正则化得出的主要结果扩展了 Dantzig 选择器中 [Ann.Statist.35 (2007) 2313-2351] 类似的结果，并肯定回答了 [Ann.Statist.35 (2007) 2358-2364] 中的一个未解问题。此外，该结果还产生了一种更广泛的特征选择观点，该观点比一些最近的工作具有更少的约束条件。基于理论洞察力，我们分析了具有选择性处罚的新型两阶段 $L_1$ 正则化过程，并表明如果目标参数向量可以分解为具有大系数的稀疏参数向量和具有相对较小系数的其他较少稀疏向量的总和，则两阶段过程可以提高性能。

    Aug, 2009

  • 关于 L1 惩罚稀疏精度矩阵估计的不一致性

    本文研究了基于 L1 范数的估计方法在一类带稀疏潜变量模型中的一致性问题，证明了存在变量近似线性相关的情况下这些方法会失效，而且 L1 方法在实际的基因网络中也不可靠。

    Mar, 2016

  • 利用 $l_1$ 正则化逻辑回归进行高维 Ising 模型选择

    本文提出了一种基于 logistic 回归的方法来估计与二元 Ising 马尔可夫随机场相关联的图，并分析了该方法在高维情况下的表现，提出了一些充分条件，使其能够同时一致估计图中每个节点的邻域。

    Oct, 2010

  • 利用 $\ell_1$ 惩罚的 Huber $M$ 估计器对稀疏线性模型进行异常值鲁棒性估计

    研究了在高斯设计和加性噪声的线性模型中，估计一个 p - 维 s - 稀疏向量的问题，证明当标签受到至多 o 个敌对异常数据的污染时，基于 n 个样本的 L1 惩罚 Huber's M - 估计量达到最优的收敛速率 (s /n)^ {1/2} +（o /n），更一般的设计矩阵结果强调了转移原则和无相干性质的重要性，并证明适当的常数加上这些属性可以实现最优的强鲁棒估计率，最高可达对数因子，具有敌对扰动。

    Apr, 2019

  • 高维同时支持恢复：块 $\ell_1/\ell_\infty$ 正则化的利与弊

    本文研究了采用 l1/l∞正则化回归方法对回归系数矩阵进行联合估计的高维缩放，分析了 l1/l∞正则化的一致性和变量选择。结果表明，l1/l∞正则化方法的使用需要谨慎，若数据不够符合其结构，则相较于计算量较低的方案会降低其统计性能。

    May, 2009

  • 二分类的正则化线性回归

    对于具有噪声标签的二元分类问题，正则化线性回归是一种有前景的方法。本文系统研究了正则化强度对通过最小化正则化最小二乘目标来解决二元分类问题的线性分类器性能的影响。通过在超参数化条件下，假设类别是由高斯混合模型生成的，其中有一个小于 1/2 的比例的训练数据被误标记，我们严格分析了岭回归、L1 和 L∞回归应用时产生的分类错误。特别地，我们证明了岭回归总能改善分类错误。我们证明了 L1 正则化引起稀疏性，并观察到在许多情况下，不考虑 GMM 的稀疏结构，可以将解稀疏化两个数量级而不会有明显的性能损失。对于 L∞正则化，我们证明了对于足够大的正则化强度，最优权重集中在两个相反符号的值周围。我们观察到在许多情况下，将每个权重压缩到一个位时几乎不会造成性能损失。这些观察结果具有重要的实际影响。

    Nov, 2023

  • 最小极凹惩罚下的近乎无偏变量选择

    我们提出了 MC+ 方法，一种快速、连续、几乎无偏和准确的高维线性回归罚项变量选择方法。该方法采用了最小化凸惩罚和惩罚线性无偏选择算法两个部分，能够在可控的阈值下选择变量并消除偏差，同时在罚项为零时提供普通最小二乘解来实现连续性。我们证明了 MC+ 方法具有选择一致性和一定的最小值收敛速率，可以适用于高维情况，且其估计值在采用 SURE 方法计算自由度和 $C_p$ 风险估计时是无偏的。

    Feb, 2010

  • 关于正则化稀疏逻辑回归

    提出了解决稀疏逻辑回归和使用非凸惩罚项解决稀疏逻辑回归的优化框架，以同时进行分类和特征选择。通过实证实验，证明了所提算法在具有现实数据集的二分类任务中能够有效地进行分类和特征选择，且计算成本较低。

    Sep, 2023

  • 高维回归假设检验的几乎最优样本大小

    针对高维线性回归模型的参数拟合问题，考虑基于 Lasso 惩罚的最小二乘估计器的置信区间和 p 值的构造及去偏的版本，进一步在随机设计模型的情形下进行研究，并提出了更优的平均检测功率的分析结果。

    Nov, 2013