Feb, 2012

一种用于一般结构稀疏学习的平滑近端梯度方法

PDF
TL;DR本文提出了一种称为平滑近端梯度方法的通用优化方法，它能够解决带有平滑凸损失和广泛结构稀疏诱导罚款的结构稀疏回归问题，通过 Nesterov 的一般平滑技术实现了比标准一阶法更快的收敛速度，比大多数广泛使用的内点法更可扩展。
structured sparsity-inducing penaltyoverlapping group lasso penaltygraph-guided fusion penaltyoptimization approachsmoothing proximal gradient method
发现论文，激发创造
  • 一般结构稀疏回归的平滑近端梯度法

    本文提出了一种通用的优化方法 —— 平滑近端梯度法 (SPG)，可以在结构化的稀疏惩罚下解决任何光滑凸损失的结构化稀疏回归问题。此方法在性能和可伸缩性方面都具有很大优势，并在模拟实验和真实的遗传数据集上进行了验证。

    May, 2010

  • 用于深度学习的结构稀疏性诱导自适应优化器

    本文提出一种新颖的基于非可微惩罚项的 proximal 梯度方法来去除神经网络不重要的参数组，并针对两种结构性稀疏惩罚进行了权重 proximal 操作符导出，并证明了该方法的收敛性。同时，介绍了该方法在计算机视觉和自然语言处理中的应用。

    Feb, 2021

  • 稀疏惩罚优化

    本文介绍从一般的角度分析在使用稀疏估计方法中相关的优化工具和技术，包括近端方法、块坐标下降、加权 L2 正则技术、工作集和家族方法以及非凸形式和扩展。同时，我们提供了一组广泛的实验来比较各种算法在计算方面的差异。

    Aug, 2011

  • 一种图结构的多任务回归和通用融合 Lasso 的高效优化方法

    本文提出了一种基于图的融合套索方法（GFlasso）用于结构化多任务回归问题，该方法利用了输出变量之间的图结构，通过融合惩罚函数鼓励高度相关的输出共享一组相关的输入，并提出了一种简单而有效的近端 - 梯度方法用于优化 GFlasso。

    May, 2010

  • 结构化稀疏性与泛化能力

    本文介绍了一种基于数据相关性的一般化界限，适用于许多实现了结构稀疏性限制的正则化算法。该界限可以应用于标准的平方范数正则化、套索 (Lasso)、组套索 (group Lasso)、一些具有重叠组的组套索版本、多核学习 (multiple kernel learning) 和其他正则化方案。在所有这些情况下，都可以获得有竞争力的结果。我们界限的新特点是，它可以应用于无限维度的设置，例如具有可分离的希尔伯特空间的套索 (Lasso) 或具有可数核的多核学习 (multiple kernel learning)。

    Aug, 2011

  • 截断梯度稀疏在线学习

    这篇论文提出了一种新方法，称为截断梯度 (truncated gradient)，可以在凸损失函数的在线学习算法中诱导稀疏性，该方法具有连续控制稀疏化程度的参数，类似于 $L_1$ 正则化方法，理论上可以证明小的稀疏化率仅会导致额外的小代价，并且在实践中取得了良好的效果。

    Jun, 2008

  • 关于群 Lasso 和稀疏群 Lasso 的说明

    该论文探讨了基于群回归的线性模型问题，提出了一种更加通用的罚函数，该罚函数将 L1 范数和群 L2 范数相融合，可以同时稀疏化群和个体特征。此外，为了解决该问题，提出了一种基于坐标下降的高效算法，该算法也适用于处理非正交模型矩阵的群回归的一般形式。

    Jan, 2010

  • 带逐步方差缩减的近端随机梯度下降法

    提出了一种多级方案来逐渐减少随机梯度方差的新的近端随机梯度方法，用于解决平滑组件函数的平均和简单近端映射的一般凸函数总和的极小化问题。

    Mar, 2014

  • 基于凸优化的结构稀疏化

    本文介绍了一种基于结构规则的稀疏估计方法，通过应用不仅仅关注稀疏性，而且可以考虑一些结构化先验知识，这种方法可以处理多种结构的问题。同时，我们还介绍了该方法在无监督学习、非线性变量选择等方面的应用。

    Sep, 2011

  • 稀疏约束下线性反问题的加速投影梯度方法

    本文探讨了使用 l1 惩罚解决几乎稀疏线性逆问题的正则化方法，并提出了一种基于投影梯度方法并使用可变阈值参数的迭代软阈值算法的替代方案。

    Jun, 2007