Jan, 2010

关于群 Lasso 和稀疏群 Lasso 的说明

PDF
TL;DR该论文探讨了基于群回归的线性模型问题，提出了一种更加通用的罚函数，该罚函数将 L1 范数和群 L2 范数相融合，可以同时稀疏化群和个体特征。此外，为了解决该问题，提出了一种基于坐标下降的高效算法，该算法也适用于处理非正交模型矩阵的群回归的一般形式。
group lassopenaltylinear modellassocoordinate descent
发现论文，激发创造
  • Lasso 惩罚回归的坐标下降算法

    本文研究了基于 lasso 惩罚的回归问题，并提出了两个非常快的算法来估计回归系数，其中一个算法基于循环坐标下降，而另一个基于贪心坐标下降和 Edgeworth 的算法。此外，如果对参数进行分组并对每个组进行惩罚，则可以将现有算法扩展到新领域。

    Mar, 2008

  • 群 Lasso 和多核学习的一致性

    本文研究了使用组套 Lasso 进行带有正则化的最小二乘回归问题的渐近一致性和多核学习的无限维情况下的一致性性质，并提出了自适应方案以获得一致的模型估计。

    Jul, 2007

  • 组别下降算法用于具有组别预测变量的非凸罚线性和逻辑回归模型

    该论文研究使用一些非凸罚项方法解决群体选择问题并进行变量选择的统计性能比较。

    Sep, 2012

  • 组稀疏性的益处

    本文提出了一个基于强群体稀疏概念的群体 Lasso 理论。研究结果表明，群组 Lasso 对于强群体稀疏信号优于标准的 Lasso，这为在基础群组结构与数据一致时使用群体稀疏正则化提供了有力的理论证明。此外，理论预测了群体 Lasso 公式的一些局限性，并得到了模拟研究的证实。

    Jan, 2009

  • 深度神经网络的分组稀疏正则化

    探讨了深度神经网络、特征选择和优化之间的关系，并通过引入 Group Lasso penalty 的方法，同时解决了三个问题，证明此方法可以在大规模分类任务上有效地实现。

    Jul, 2016

  • 组稀疏加性模型

    本文提出了一种新的方法，名为群组稀疏性加性模型 (GroupSpAM)，可处理加性模型中的群组稀疏性，通过引入 Hilbert 空间内的 l1/l2 范数作为稀疏引导惩罚，推导出一种新的阈值条件来识别功能稀疏性，并提出一个高效的块坐标下降算法来构建估计，仿真实验证明 GroupSpAM 在支持恢复和预测准确性方面远优于竞争方法。

    Jun, 2012

  • 稀疏凸优化的 L1 正则化性能

    本研究提出了一种新的方法来证明 Group LASSO 算法在稀疏凸优化中的一些特定情况下具有 recovery guarantees，为进一步解决列子集选择问题提供了新的策略。

    Jul, 2023

  • 结构化稀疏性与泛化能力

    本文介绍了一种基于数据相关性的一般化界限，适用于许多实现了结构稀疏性限制的正则化算法。该界限可以应用于标准的平方范数正则化、套索 (Lasso)、组套索 (group Lasso)、一些具有重叠组的组套索版本、多核学习 (multiple kernel learning) 和其他正则化方案。在所有这些情况下，都可以获得有竞争力的结果。我们界限的新特点是，它可以应用于无限维度的设置，例如具有可分离的希尔伯特空间的套索 (Lasso) 或具有可数核的多核学习 (multiple kernel learning)。

    Aug, 2011

  • 一种用于一般结构稀疏学习的平滑近端梯度方法

    本文提出了一种称为平滑近端梯度方法的通用优化方法，它能够解决带有平滑凸损失和广泛结构稀疏诱导罚款的结构稀疏回归问题，通过 Nesterov 的一般平滑技术实现了比标准一阶法更快的收敛速度，比大多数广泛使用的内点法更可扩展。

    Feb, 2012

  • 路径坐标优化

    本文介绍了 “逐一” 坐标下降算法及其在 $ L_1 $- 惩罚回归（套索）、garotte 和弹性网络等相关方法中的应用，证明了该算法可以与广泛应用的 LARS（或同伦）过程竞争，在大规模 lasso 问题中引起了不少关注。但注意到它并不适用于 “融合 Lasso”，所以论文提出了一个广义算法，在比标准的凸优化器运行时间更短的时间内得出了解决方案。最后，将该过程推广到二维融合 Lasso，并展示了其在一些图像平滑问题上的性能。

    Aug, 2007