Oct, 2016

利用哈达玛积参数化的 Lasso, 分数范数和结构化稀疏估计

PDF
TL;DR本文提出了多项式重新参数化方法，将 L_q 惩罚子集与 L_2 惩罚关联起来，提出了通过一种非常简单和直观的交替岭回归算法得出套索和其他规范化回归估计的方法，可避免一些数值不稳定性问题，同时在速度上也具有竞争力。此外，该算法可以扩展到适应稀疏高维情况、广义线性模型，并可用于通过参数协方差模型导出的惩罚项来创建结构稀疏。
发现论文，激发创造
  • Lasso 惩罚回归的坐标下降算法

    本文研究了基于 lasso 惩罚的回归问题，并提出了两个非常快的算法来估计回归系数，其中一个算法基于循环坐标下降，而另一个基于贪心坐标下降和 Edgeworth 的算法。此外，如果对参数进行分组并对每个组进行惩罚，则可以将现有算法扩展到新领域。

    Mar, 2008

  • 平滑优化在稀疏正则化中的广泛框架：利用哈达玛过度参数化

    基于稀疏性的参数化的非平滑正则化方法在优化问题中引入了平滑性，通过数值实验验证了该方法性能与常用的凸和非凸正则化方法相当甚至更好。

    Jul, 2023

  • Lasso 分布：稀疏球的统一控制和自适应参数调整

    研究证明，对于一个标准的随机设计模型，在高维回归 Lasso 估计器和高斯去噪器之间的统计关系和正则化参数的性能方面存在稳健的理论和计算结果。

    Nov, 2018

  • 部分平滑正则化的自由度

    本文考虑正则化回归问题，其中先验正则化器是一个凸函数并对于黎曼子流形是部分光滑的，我们研究了任何正则化最小化器对观察值微小扰动的敏感性，并提供了其精确的本地参数化。我们的主要敏感性分析结果表明，在观测变化微小地情况下，预测变化在同一活动子流形上局部稳定。

    Apr, 2014

  • 稀疏惩罚优化

    本文介绍从一般的角度分析在使用稀疏估计方法中相关的优化工具和技术，包括近端方法、块坐标下降、加权 L2 正则技术、工作集和家族方法以及非凸形式和扩展。同时，我们提供了一组广泛的实验来比较各种算法在计算方面的差异。

    Aug, 2011

  • 高维数据的稀疏表示 Lasso 型恢复

    本文主要研究了在高维数据下 Lasso 作为一种正则化和变量选择技术的一些性质，特别关注了 Lasso 在松弛 irrepresentable 条件之后的一些表现，包括一些适用于固定设计的条件以及一些收敛性的结果。最后，文章通过天体物理学中相邻频率的检测问题进行了结果论证。

    Jun, 2008

  • 高维广义线性模型与套索法

    研究了具有 Lipschitz 损失函数的高维广义线性模型，并证明了带有 Lasso 惩罚项的经验风险最小化算子的非渐进性 oracle 不等式。惩罚项是基于线性预测中的系数，在经验规范化后计算。研究包括逻辑回归、密度估计、带有 Hinge 损失的分类和最小二乘回归。

    Apr, 2008

  • 结构化稀疏性与泛化能力

    本文介绍了一种基于数据相关性的一般化界限，适用于许多实现了结构稀疏性限制的正则化算法。该界限可以应用于标准的平方范数正则化、套索 (Lasso)、组套索 (group Lasso)、一些具有重叠组的组套索版本、多核学习 (multiple kernel learning) 和其他正则化方案。在所有这些情况下，都可以获得有竞争力的结果。我们界限的新特点是，它可以应用于无限维度的设置，例如具有可分离的希尔伯特空间的套索 (Lasso) 或具有可数核的多核学习 (multiple kernel learning)。

    Aug, 2011

  • 关于群 Lasso 和稀疏群 Lasso 的说明

    该论文探讨了基于群回归的线性模型问题，提出了一种更加通用的罚函数，该罚函数将 L1 范数和群 L2 范数相融合，可以同时稀疏化群和个体特征。此外，为了解决该问题，提出了一种基于坐标下降的高效算法，该算法也适用于处理非正交模型矩阵的群回归的一般形式。

    Jan, 2010

  • 拟合受限 Lasso 的算法

    本研究比较了在求解有约束的 Lasso 问题中的几种不同的计算策略（包括二次规划、交替方向乘子法、以及一种高效的求解路径算法）。在通过模拟和真实数据示例的比较之后，提出了适用于不同数据规模下的实际建议，同时也发现一般化 Lasso 可以转化为有约束的 Lasso 问题，但反之则不成立。因此，该研究的方法也可以用于估计具有广泛应用的一般化 Lasso。

    Oct, 2016