ICLRDec, 2017

通过 $L_0$ 正则化学习稀疏神经网络

PDF
TL;DR本研究提出了一种使用稀疏性约束进行神经网络剪枝的方法，该方法通过一系列随机门来收缩网络，以便训练和预测运算可以更加快速和高效。
neural networksl0 norm regularizationpruninggatesstochastic gradient descent
发现论文，激发创造
  • 带有引导正则化器的神经网络简化

    本论文提出了一种名为 “引导正则化” 的简单新方法，可以在训练过程中优先考虑某些神经网络单元的权重，使得某些单元变得不那么重要而可剪枝，从而实现神经网络的自然简化，在保持性能的同时减少不必要的单元。

    May, 2023

  • 基于正则化的深度神经网络结构中不相关参数修剪

    本研究提出了一种基于正则化技术实现学习稀疏神经拓扑结构的方法，包括对非相关权重标定、压缩优化以及迭代式意义下的参数消除。在图像分类与自然语言生成任务中进行测试，并通过数据指标达到与或优于竞争对手等表现。

    Apr, 2022

  • 使用 BinMask 实现有效的 $L_0$ 神经网络正则化

    本文提出了一种名为 BinMask 的简单 $L_0$ 正则化方法，该方法采用确定性二进制掩码相乘的权重并使用恒等误差反向传播估计器，在特征选择、网络稀疏化和模型正则化等任务上均取得了竞争性的性能表现。

    Apr, 2023

  • $L_0$-ARM: 基于随机二进制优化的网络稀疏化

    本论文研究了网络稀疏化问题，将其视为 $L_0$ 范数正则化的二元优化问题，并使用了 ARM 算法来解决，在保持基线方法准确性的同时实现了优秀的网络剪枝率。

    Apr, 2019

  • 任意 $p$ 范数的分离权重衰减

    通过桥接 $L_p$ 正则化的权重衰减方案，提出了一个简单而有效的稀疏化方法，以应对大规模神经网络的计算和存储要求，并避免了 $0<p<1$ 的正则化梯度发散问题，实验证明其导致高度稀疏的网络，同时保持与标准 $L_2$ 正则化相当的泛化性能。

    Apr, 2024

  • 正则化压缩神经网络的学习

    研究了深度神经网络的正则梯度下降算法，并通过量化约束集合的复杂度以及研究覆盖维度来探索正则化技术在加速训练、提高泛化性能以及学习更高效紧凑模型方面的优势。

    Feb, 2018

  • 通过渐进正则化进行神经剪枝

    本文提出了一种新的方法，将正则化引入到神经网络的剪枝问题中，并提出了一种增量 L2 规范化变量的方法来解决剪枝安排和权重重要性评分的问题。这种增量非常成功，使得我们的算法在结构化和非结构化的剪枝条件下都具有可扩展性，并在 CIFAR 和 ImageNet 数据集上取得了与许多现有算法相媲美的结果。

    Dec, 2020

  • 由 Ornstein-Uhlenbeck 过程驱动的深度神经网络的隐式正则化

    研究采用随机梯度下降法训练的神经网络，通过对每一次迭代的训练标签进行独立噪声扰动，得到一个隐式正则化项，从而驱动网络向简单模型发展，并以矩阵感知、一维数据下的两层 ReLU 网络训练以及单数据点下的两层 sigmoid 激活网络训练等三个简单场景进行了阐述。

    Apr, 2019

  • 神经网络的等效标准化

    通过引入一种快速的迭代方法，可以最小化权重的 L2 范数，同时提高了测试准确率，从而为小批量数据提供了一种替代 CIFAR-10 和 ImageNet 的 ResNet-18 中的批量和分组规范化方法

    Feb, 2019

  • 通过权重归一化实现强大的隐式正则化

    本文研究了使用梯度下降与权重归一化进行训练的经过参数化的模型所具有的内在偏向性，并证明了权重归一化的方法可以在对角线性模型中具有稀疏解的内在偏向性。

    May, 2023