May, 2014

广义 Lasso 双路径算法的高效实现

PDF
TL;DR针对 Tibshirani 和 Taylor（2011）的广义套索双路径算法，描述了覆盖任何惩罚矩阵 D 和任何（完整列秩）预测变量矩阵 X 的通用方法，并针对趋势滤波问题、融合套索问题和稀疏融合套索问题的特殊情况描述了快速实现。这些算法都可以在 CRAN 存储库中找到的 genlasso R 包中使用。
generalized lassodual path algorithmpenalty matrixpredictor variablessolution path computation
发现论文，激发创造
  • 广义 Lasso 的解路径

    本文提出了一种计算广义套索问题路径的基于对偶问题的算法，能够解决广泛的应用场景，并通过对 $I$ 的情况，与 LARS 算法建立联系，并导出了广义套索拟合的自由度的无偏估计，该估计在很多应用中都非常直观。

    May, 2010

  • 拟合受限 Lasso 的算法

    本研究比较了在求解有约束的 Lasso 问题中的几种不同的计算策略（包括二次规划、交替方向乘子法、以及一种高效的求解路径算法）。在通过模拟和真实数据示例的比较之后，提出了适用于不同数据规模下的实际建议，同时也发现一般化 Lasso 可以转化为有约束的 Lasso 问题，但反之则不成立。因此，该研究的方法也可以用于估计具有广泛应用的一般化 Lasso。

    Oct, 2016

  • 关于群 Lasso 和稀疏群 Lasso 的说明

    该论文探讨了基于群回归的线性模型问题，提出了一种更加通用的罚函数，该罚函数将 L1 范数和群 L2 范数相融合，可以同时稀疏化群和个体特征。此外，为了解决该问题，提出了一种基于坐标下降的高效算法，该算法也适用于处理非正交模型矩阵的群回归的一般形式。

    Jan, 2010

  • Lasso 问题中的自由度

    该研究推导了套索拟合的自由度，对预测矩阵和惩罚矩阵没有任何假设，结果以套索解的活跃集为基础，扩展到了任意预测矩阵和任意惩罚矩阵的广义套索拟合。

    Nov, 2011

  • 路径坐标优化

    本文介绍了 “逐一” 坐标下降算法及其在 $ L_1 $- 惩罚回归（套索）、garotte 和弹性网络等相关方法中的应用，证明了该算法可以与广泛应用的 LARS（或同伦）过程竞争，在大规模 lasso 问题中引起了不少关注。但注意到它并不适用于 “融合 Lasso”，所以论文提出了一个广义算法，在比标准的凸优化器运行时间更短的时间内得出了解决方案。最后，将该过程推广到二维融合 Lasso，并展示了其在一些图像平滑问题上的性能。

    Aug, 2007

  • GLMMLasso：一种使用 L1 惩罚的高维广义线性混合模型算法

    我们提出了一个 L1 惩罚算法，用于拟合高维广义线性混合模型，并建议使用最大似然重新拟合模型。在模拟和实际数据示例中，我们演示了该算法的性能，并在 R 包 glmmixedlasso 中实现了该算法。

    Sep, 2011

  • 张量图形套索（TeraLasso）

    本文介绍了一个名为 Tensor Graphical Lasso (TeraLasso) 的多维张量图形 Lasso 的通用模型，可以准确地和可扩展地估计高维变量数据的条件依赖关系，通过提出的复合梯度下降算法，TeraLasso 模型可以有效计算。该模型可以准确地估计精确的矩阵和恢复有意义的条件依赖图，而且在模拟和实验数据中得到广泛应用。

    May, 2017

  • Lasso 惩罚回归的坐标下降算法

    本文研究了基于 lasso 惩罚的回归问题，并提出了两个非常快的算法来估计回归系数，其中一个算法基于循环坐标下降，而另一个基于贪心坐标下降和 Edgeworth 的算法。此外，如果对参数进行分组并对每个组进行惩罚，则可以将现有算法扩展到新领域。

    Mar, 2008

  • 预测套索

    本文提出了一种缩减程序，可以在广义线性模型中进行同时变量选择和估计，以明确的预测动机为基础，结果与完整模型相似的预测性能下选择出一个简明模型。

    Sep, 2010

  • 一种快速且可扩展的路径求解器：基于分块坐标下降法的组套索和弹性网络惩罚回归

    基于块坐标下降的快速可扩展算法用于解决广义线性模型中的群组套索和群组弹性网络问题，特别关注普通最小二乘损失（高斯损失），展示了每个块坐标更新可以通过牛顿方法高效解决，进一步利用自适应二分法进行改进，具有二次收敛速度。我们的基准测试显示，我们的 adelie 软件包在广泛的模拟和真实数据集上比下一个最快的软件包快 3 到 10 倍。此外，我们证明我们的软件包也是一个竞争的 lasso 求解器，与流行的 lasso 软件包 glmnet 的性能相当。

    May, 2024