Aug, 2011

结构化稀疏性与泛化能力

PDF
TL;DR本文介绍了一种基于数据相关性的一般化界限，适用于许多实现了结构稀疏性限制的正则化算法。该界限可以应用于标准的平方范数正则化、套索 (Lasso)、组套索 (group Lasso)、一些具有重叠组的组套索版本、多核学习 (multiple kernel learning) 和其他正则化方案。在所有这些情况下，都可以获得有竞争力的结果。我们界限的新特点是，它可以应用于无限维度的设置，例如具有可分离的希尔伯特空间的套索 (Lasso) 或具有可数核的多核学习 (multiple kernel learning)。
structured sparsity constraintsgeneralization boundregularization schemesmultiple kernel learninglasso
发现论文，激发创造
  • 组稀疏性的益处

    本文提出了一个基于强群体稀疏概念的群体 Lasso 理论。研究结果表明，群组 Lasso 对于强群体稀疏信号优于标准的 Lasso，这为在基础群组结构与数据一致时使用群体稀疏正则化提供了有力的理论证明。此外，理论预测了群体 Lasso 公式的一些局限性，并得到了模拟研究的证实。

    Jan, 2009

  • 群 Lasso 和多核学习的一致性

    本文研究了使用组套 Lasso 进行带有正则化的最小二乘回归问题的渐近一致性和多核学习的无限维情况下的一致性性质，并提出了自适应方案以获得一致的模型估计。

    Jul, 2007

  • 基于凸优化的结构稀疏化

    本文介绍了一种基于结构规则的稀疏估计方法，通过应用不仅仅关注稀疏性，而且可以考虑一些结构化先验知识，这种方法可以处理多种结构的问题。同时，我们还介绍了该方法在无监督学习、非线性变量选择等方面的应用。

    Sep, 2011

  • 关于群 Lasso 和稀疏群 Lasso 的说明

    该论文探讨了基于群回归的线性模型问题，提出了一种更加通用的罚函数，该罚函数将 L1 范数和群 L2 范数相融合，可以同时稀疏化群和个体特征。此外，为了解决该问题，提出了一种基于坐标下降的高效算法，该算法也适用于处理非正交模型矩阵的群回归的一般形式。

    Jan, 2010

  • 深度神经网络的分组稀疏正则化

    探讨了深度神经网络、特征选择和优化之间的关系，并通过引入 Group Lasso penalty 的方法，同时解决了三个问题，证明此方法可以在大规模分类任务上有效地实现。

    Jul, 2016

  • 一种用于一般结构稀疏学习的平滑近端梯度方法

    本文提出了一种称为平滑近端梯度方法的通用优化方法，它能够解决带有平滑凸损失和广泛结构稀疏诱导罚款的结构稀疏回归问题，通过 Nesterov 的一般平滑技术实现了比标准一阶法更快的收敛速度，比大多数广泛使用的内点法更可扩展。

    Feb, 2012

  • 一般结构稀疏回归的平滑近端梯度法

    本文提出了一种通用的优化方法 —— 平滑近端梯度法 (SPG)，可以在结构化的稀疏惩罚下解决任何光滑凸损失的结构化稀疏回归问题。此方法在性能和可伸缩性方面都具有很大优势，并在模拟实验和真实的遗传数据集上进行了验证。

    May, 2010

  • 稀疏凸优化的 L1 正则化性能

    本研究提出了一种新的方法来证明 Group LASSO 算法在稀疏凸优化中的一些特定情况下具有 recovery guarantees，为进一步解决列子集选择问题提供了新的策略。

    Jul, 2023

  • 结构化稀疏学习

    本文研究了一种新的学习方法 —— 结构稀疏学习，它是统计学习和压缩感知标准稀疏概念的自然扩展，通过允许特征集合上的任意结构，该概念推广了近年来流行的组稀疏思想。文中提出了一种基于结构编码复杂度的学习结构稀疏的通用理论。如果目标信号的编码复杂度小，则可以通过使用编码复杂度正则化方法，实现更好的性能；此外，文中还提出了一种结构贪婪算法，该算法在适当条件下近似解决了编码复杂度优化问题，通过实验展示了结构稀疏在一些实际应用中优于标准稀疏的优势。

    Mar, 2009

  • 高维数据的稀疏表示 Lasso 型恢复

    本文主要研究了在高维数据下 Lasso 作为一种正则化和变量选择技术的一些性质，特别关注了 Lasso 在松弛 irrepresentable 条件之后的一些表现，包括一些适用于固定设计的条件以及一些收敛性的结果。最后，文章通过天体物理学中相邻频率的检测问题进行了结果论证。

    Jun, 2008