基于凸优化的结构稀疏化

Sep, 2011

Structured sparsity through convex optimization

Francis Bach, Rodolphe Jenatton, Julien Mairal, Guillaume Obozinski

TL;DR本文介绍了一种基于结构规则的稀疏估计方法，通过应用不仅仅关注稀疏性，而且可以考虑一些结构化先验知识，这种方法可以处理多种结构的问题。同时，我们还介绍了该方法在无监督学习、非线性变量选择等方面的应用。

Abstract

sparse estimation methods are aimed at using or obtaining parsimonious representations of data or models. While naturally cast as a combinatorial optimization problem, variable or feature selection admits a convex relaxation through the regularization by the $\ell_1$-norm. In this pape

sparse estimation structured norms unsupervised learning hierarchical dictionary learning supervised learning

发现论文，激发创造

稀疏惩罚优化

本文介绍从一般的角度分析在使用稀疏估计方法中相关的优化工具和技术，包括近端方法、块坐标下降、加权 L2 正则技术、工作集和家族方法以及非凸形式和扩展。同时，我们提供了一组广泛的实验来比较各种算法在计算方面的差异。

Aug, 2011

结构化稀疏范数变量选择

给定线性监督学习中基于结构稀疏性的正则化实验风险最小化问题，提出了变量子集上欧几里德范数的和来定义正则化稀疏性模型，并提出了前向和后向算法以及高效的主动集算法来解决该问题。分析了最小二乘线性回归在低维和高维情况下的变量选择的一致性。

Apr, 2009

子模函数引导的结构稀疏惩罚范数

本文研究了一种新的稀疏学习方法，提出了一种新的凸优化方法，利用一些子模函数的拓展得到了一类较通用的多面规范，并提供算法工具和理论结果。

Aug, 2010

稀疏正交投影方法在单纯形上的应用

本文实现了基于凸松弛和非凸约束的高维学习问题，包括量子重构、稀疏密度估计和组合优化等领域，以简单形式解决这些问题。

Jun, 2012

同时结构化模型及其在稀疏和低秩矩阵中的应用

本文研究的是如何恢复一个结构化模型的问题，我们探讨了使用多目标优化得到的结果与只利用其中一个结构的算法的结果相当的现象。此外，我们还详细研究了稀疏低秩矩阵恢复问题所需的样本数，证明了本文提出的非凸公式在这种情况下表现比凸公式更好。

Dec, 2012

结构化稀疏学习

本文研究了一种新的学习方法 —— 结构稀疏学习，它是统计学习和压缩感知标准稀疏概念的自然扩展，通过允许特征集合上的任意结构，该概念推广了近年来流行的组稀疏思想。文中提出了一种基于结构编码复杂度的学习结构稀疏的通用理论。如果目标信号的编码复杂度小，则可以通过使用编码复杂度正则化方法，实现更好的性能；此外，文中还提出了一种结构贪婪算法，该算法在适当条件下近似解决了编码复杂度优化问题，通过实验展示了结构稀疏在一些实际应用中优于标准稀疏的优势。

Mar, 2009

正则化与放松：统计变量选择的锥优化视角

本文介绍了如何将一个经典的稀疏正则化模型 with an l0 范数惩罚转化为凸松弛的形式，在此基础上通过引入远离凸性的惩罚函数，如 Minimax Concave Penalty (MCP) 以及 reverse Huber penalty，进一步推导出新的解法，并且可以通过半定松弛方法求解。文章最终通过 Goemans-Williamson 圆整算法来找到近似解。

Oct, 2015

结构化稀疏主成分分析

通过结构化稀疏主成分分析（Structured Sparse PCA）来处理数据，该方法通过拟定稀疏模式形状约束所有字典元素的稀疏性形状以实现对数据的高阶信息编码，提出了一种有效而简单的优化过程来解决这个问题，并在人脸识别和蛋白质复合物动态研究等两个相关任务上进行了试验，验证了该方法相对于非结构化方法的益处。

Sep, 2009

通过 L1-L2 优化实现结构化模型选择

该研究提出了一种学习方法，通过稀疏最小二乘拟合和非凸 l1-l2 稀疏优化解决器来鉴定结构动力系统，该方法基于科学工程中的自动模型选择应用，研究了少样本和噪声空时数据的识别问题。

May, 2023

结构化稀疏性与泛化能力

本文介绍了一种基于数据相关性的一般化界限，适用于许多实现了结构稀疏性限制的正则化算法。该界限可以应用于标准的平方范数正则化、套索 (Lasso)、组套索 (group Lasso)、一些具有重叠组的组套索版本、多核学习 (multiple kernel learning) 和其他正则化方案。在所有这些情况下，都可以获得有竞争力的结果。我们界限的新特点是，它可以应用于无限维度的设置，例如具有可分离的希尔伯特空间的套索 (Lasso) 或具有可数核的多核学习 (multiple kernel learning)。

Aug, 2011