Oct, 2016

拟合受限 Lasso 的算法

PDF
TL;DR本研究比较了在求解有约束的 Lasso 问题中的几种不同的计算策略（包括二次规划、交替方向乘子法、以及一种高效的求解路径算法）。在通过模拟和真实数据示例的比较之后，提出了适用于不同数据规模下的实际建议，同时也发现一般化 Lasso 可以转化为有约束的 Lasso 问题，但反之则不成立。因此，该研究的方法也可以用于估计具有广泛应用的一般化 Lasso。
constrained lassoquadratic programmingalternating direction method of multiplierssolution path algorithmgeneralized lasso
发现论文，激发创造
  • 网络套索：大型图中的聚类和优化

    本文介绍了基于交替方向乘子法的分布式可扩展解决网络套索问题的算法，在图形数据上进行聚类和优化，比对了基准方法并表明其是在解决大型优化问题中既快速又准确的方法。

    Jul, 2015

  • Lasso 惩罚回归的坐标下降算法

    本文研究了基于 lasso 惩罚的回归问题，并提出了两个非常快的算法来估计回归系数，其中一个算法基于循环坐标下降，而另一个基于贪心坐标下降和 Edgeworth 的算法。此外，如果对参数进行分组并对每个组进行惩罚，则可以将现有算法扩展到新领域。

    Mar, 2008

  • 广义 Lasso 的解路径

    本文提出了一种计算广义套索问题路径的基于对偶问题的算法，能够解决广泛的应用场景，并通过对 $I$ 的情况，与 LARS 算法建立联系，并导出了广义套索拟合的自由度的无偏估计，该估计在很多应用中都非常直观。

    May, 2010

  • 广义 Lasso 双路径算法的高效实现

    针对 Tibshirani 和 Taylor（2011）的广义套索双路径算法，描述了覆盖任何惩罚矩阵 D 和任何（完整列秩）预测变量矩阵 X 的通用方法，并针对趋势滤波问题、融合套索问题和稀疏融合套索问题的特殊情况描述了快速实现。这些算法都可以在 CRAN 存储库中找到的 genlasso R 包中使用。

    May, 2014

  • GLMMLasso：一种使用 L1 惩罚的高维广义线性混合模型算法

    我们提出了一个 L1 惩罚算法，用于拟合高维广义线性混合模型，并建议使用最大似然重新拟合模型。在模拟和实际数据示例中，我们演示了该算法的性能，并在 R 包 glmmixedlasso 中实现了该算法。

    Sep, 2011

  • 多项式仿射约束优化的 ADMM 算法

    本文提出了一种基于 ADMM 算法的方法，可以用于解决包含多元仿射约束条件及非凸、非光滑目标函数的优化问题，并证明在满足特定条件下，该方法可以收敛于受约束的稳定点解集合，且在 Kurdyka-Lojasiewicz 性质成立的情况下，可进一步收敛于单个受约束的稳定点。作者应用该方法解决了矩阵分解、风险均衡投资组合优化、凸优化问题的非凸化以及神经网络训练等问题，并证明算法子问题可以有封闭式解。

    Feb, 2018

  • 关于群 Lasso 和稀疏群 Lasso 的说明

    该论文探讨了基于群回归的线性模型问题，提出了一种更加通用的罚函数，该罚函数将 L1 范数和群 L2 范数相融合，可以同时稀疏化群和个体特征。此外，为了解决该问题，提出了一种基于坐标下降的高效算法，该算法也适用于处理非正交模型矩阵的群回归的一般形式。

    Jan, 2010

  • ADMM 在非凸问题中的实证研究

    本文为非凸优化问题提供一种广泛适用的解决方法，即交替方向乘子法（ADMM），并研究了其在不同领域的实用性，包括线性回归、图像降噪、相位恢复及特征向量计算， 最近从提出的自适应 ADMM 方法可以通过自动调整惩罚参数来提高算法效率和解决质量 compared to ADMM with a non-tuned penalty。

    Dec, 2016

  • 结构化稀疏性与泛化能力

    本文介绍了一种基于数据相关性的一般化界限，适用于许多实现了结构稀疏性限制的正则化算法。该界限可以应用于标准的平方范数正则化、套索 (Lasso)、组套索 (group Lasso)、一些具有重叠组的组套索版本、多核学习 (multiple kernel learning) 和其他正则化方案。在所有这些情况下，都可以获得有竞争力的结果。我们界限的新特点是，它可以应用于无限维度的设置，例如具有可分离的希尔伯特空间的套索 (Lasso) 或具有可数核的多核学习 (multiple kernel learning)。

    Aug, 2011

  • 利用哈达玛积参数化的 Lasso, 分数范数和结构化稀疏估计

    本文提出了多项式重新参数化方法，将 L_q 惩罚子集与 L_2 惩罚关联起来，提出了通过一种非常简单和直观的交替岭回归算法得出套索和其他规范化回归估计的方法，可避免一些数值不稳定性问题，同时在速度上也具有竞争力。此外，该算法可以扩展到适应稀疏高维情况、广义线性模型，并可用于通过参数协方差模型导出的惩罚项来创建结构稀疏。

    Oct, 2016