KDDJul, 2021

应用稀疏分组 Lasso 的自适应优化器在 CTR 预测神经网络中的应用

PDF
TL;DR本文提出了一种将稀疏组套索的正则化器添加到深度学习中的一类自适应优化器中，经过实验验证在同等稀疏度下模型性能得到了显著提升。该方法在广告点击数据集上应用效果显著。
sparse group lassoadaptive optimizersdeep learningconvergence guaranteesad click
发现论文，激发创造
  • 深度神经网络的分组稀疏正则化

    探讨了深度神经网络、特征选择和优化之间的关系，并通过引入 Group Lasso penalty 的方法，同时解决了三个问题，证明此方法可以在大规模分类任务上有效地实现。

    Jul, 2016

  • 基于节点重要性的自适应群稀疏正则化的持续学习

    提出了一种名为自适应分组稀疏的持续学习的新型正则化方法，该方法利用两种基于稀疏性的罚项来更新节点的重要性，并使用接近梯度下降方法进行学习，以明确控制模型容量，实现对新任务的高效学习，并通过重置不重要节点的权重来避免负面转移引起的灾难性遗忘。

    Mar, 2020

  • 组稀疏性的益处

    本文提出了一个基于强群体稀疏概念的群体 Lasso 理论。研究结果表明，群组 Lasso 对于强群体稀疏信号优于标准的 Lasso，这为在基础群组结构与数据一致时使用群体稀疏正则化提供了有力的理论证明。此外，理论预测了群体 Lasso 公式的一些局限性，并得到了模拟研究的证实。

    Jan, 2009

  • 关于群 Lasso 和稀疏群 Lasso 的说明

    该论文探讨了基于群回归的线性模型问题，提出了一种更加通用的罚函数，该罚函数将 L1 范数和群 L2 范数相融合，可以同时稀疏化群和个体特征。此外，为了解决该问题，提出了一种基于坐标下降的高效算法，该算法也适用于处理非正交模型矩阵的群回归的一般形式。

    Jan, 2010

  • 组稀疏加性模型

    本文提出了一种新的方法，名为群组稀疏性加性模型 (GroupSpAM)，可处理加性模型中的群组稀疏性，通过引入 Hilbert 空间内的 l1/l2 范数作为稀疏引导惩罚，推导出一种新的阈值条件来识别功能稀疏性，并提出一个高效的块坐标下降算法来构建估计，仿真实验证明 GroupSpAM 在支持恢复和预测准确性方面远优于竞争方法。

    Jun, 2012

  • 组稀疏的隐式正则化

    通过一种新的神经再参数化方法，即对角线分组线性神经网络，研究了梯度下降对结构稀疏性的隐式正则化。与现有方法相比，我们的方法证明了最小化正则化和模拟下降无法模拟我们的训练轨迹，并在一般噪声设置中分析了相应的回归问题的梯度动态和最小极小误差率。

    Jan, 2023

  • 利用 Group Lasso 正则化自动选择深度神经网络节点

    本文利用 TED Talks 演讲数据，通过 DNN-HMM 混合语音识别器检测 Group Lasso (gLasso) 正则化器对选择神经网络隐藏层显著节点的影响，证明了嵌入 gLasso 正则化器的 DNN 训练可以成功选择隐藏层节点来实现高分类能力。

    Nov, 2016

  • 组别下降算法用于具有组别预测变量的非凸罚线性和逻辑回归模型

    该论文研究使用一些非凸罚项方法解决群体选择问题并进行变量选择的统计性能比较。

    Sep, 2012

  • 使用组凸规则的稀疏输入神经网络

    本文提出使用组凸正则化的稀疏输入神经网络框架，用于解决在高维数据中进行的变量筛选和非线性函数估计的问题。通过对每个输入节点的所有出节点的权重的 L2 范数应用适当的凹值惩罚，从而为每个问题生成一个小型子集，取得了令人满意的有限样本性能和稳定的解决方案。

    Jul, 2023

  • 稀疏凸优化的 L1 正则化性能

    本研究提出了一种新的方法来证明 Group LASSO 算法在稀疏凸优化中的一些特定情况下具有 recovery guarantees，为进一步解决列子集选择问题提供了新的策略。

    Jul, 2023