Lasso 惩罚回归的坐标下降算法
本文介绍了 “逐一” 坐标下降算法及其在 $ L_1 $- 惩罚回归（套索）、garotte 和弹性网络等相关方法中的应用，证明了该算法可以与广泛应用的 LARS（或同伦）过程竞争，在大规模 lasso 问题中引起了不少关注。但注意到它并不适用于 “融合 Lasso”，所以论文提出了一个广义算法，在比标准的凸优化器运行时间更短的时间内得出了解决方案。最后，将该过程推广到二维融合 Lasso，并展示了其在一些图像平滑问题上的性能。
Aug, 2007
该论文探讨了基于群回归的线性模型问题，提出了一种更加通用的罚函数，该罚函数将 L1 范数和群 L2 范数相融合，可以同时稀疏化群和个体特征。此外，为了解决该问题，提出了一种基于坐标下降的高效算法，该算法也适用于处理非正交模型矩阵的群回归的一般形式。
Jan, 2010
基于块坐标下降的快速可扩展算法用于解决广义线性模型中的群组套索和群组弹性网络问题，特别关注普通最小二乘损失（高斯损失），展示了每个块坐标更新可以通过牛顿方法高效解决，进一步利用自适应二分法进行改进，具有二次收敛速度。我们的基准测试显示，我们的 adelie 软件包在广泛的模拟和真实数据集上比下一个最快的软件包快 3 到 10 倍。此外，我们证明我们的软件包也是一个竞争的 lasso 求解器，与流行的 lasso 软件包 glmnet 的性能相当。
May, 2024
本文提出了多项式重新参数化方法，将 L_q 惩罚子集与 L_2 惩罚关联起来，提出了通过一种非常简单和直观的交替岭回归算法得出套索和其他规范化回归估计的方法，可避免一些数值不稳定性问题，同时在速度上也具有竞争力。此外，该算法可以扩展到适应稀疏高维情况、广义线性模型，并可用于通过参数协方差模型导出的惩罚项来创建结构稀疏。
Oct, 2016
研究证明，对于一个标准的随机设计模型，在高维回归 Lasso 估计器和高斯去噪器之间的统计关系和正则化参数的性能方面存在稳健的理论和计算结果。
Nov, 2018
本研究比较了在求解有约束的 Lasso 问题中的几种不同的计算策略（包括二次规划、交替方向乘子法、以及一种高效的求解路径算法）。在通过模拟和真实数据示例的比较之后，提出了适用于不同数据规模下的实际建议，同时也发现一般化 Lasso 可以转化为有约束的 Lasso 问题，但反之则不成立。因此，该研究的方法也可以用于估计具有广泛应用的一般化 Lasso。
Oct, 2016
本文提出了一种计算广义套索问题路径的基于对偶问题的算法，能够解决广泛的应用场景，并通过对 $I$ 的情况，与 LARS 算法建立联系，并导出了广义套索拟合的自由度的无偏估计，该估计在很多应用中都非常直观。
May, 2010
本文研究了使用组套 Lasso 进行带有正则化的最小二乘回归问题的渐近一致性和多核学习的无限维情况下的一致性性质，并提出了自适应方案以获得一致的模型估计。
Jul, 2007