Apr, 2022

基于正则化的深度神经网络结构中不相关参数修剪

HTML
PDF
TL;DR本研究提出了一种基于正则化技术实现学习稀疏神经拓扑结构的方法，包括对非相关权重标定、压缩优化以及迭代式意义下的参数消除。在图像分类与自然语言生成任务中进行测试，并通过数据指标达到与或优于竞争对手等表现。
发现论文，激发创造
  • 通过 $L_0$ 正则化学习稀疏神经网络

    本研究提出了一种使用稀疏性约束进行神经网络剪枝的方法，该方法通过一系列随机门来收缩网络，以便训练和预测运算可以更加快速和高效。

    Dec, 2017

  • 正则化压缩神经网络的学习

    研究了深度神经网络的正则梯度下降算法，并通过量化约束集合的复杂度以及研究覆盖维度来探索正则化技术在加速训练、提高泛化性能以及学习更高效紧凑模型方面的优势。

    Feb, 2018

  • 初始化时的鲁棒剪枝

    深度神经网络修剪方法的全面理论分析及其在各种网络架构上的实验验证。

    Feb, 2020

  • 学习阈值修剪

    本文提出了一种新的可微分的方法来对深度神经网络进行无结构权重修剪。我们的学习阈值修剪（LTP）方法通过梯度下降学习每层的阈值，与传统方法不同。此外，通过一种新的可微分$L_0$正则化，LTP能够有效地处理具有批量归一化的体系结构。LTP能够生成一系列越来越稀疏的网络，从中可以根据稀疏度和性能要求选择所需的修剪网络。

    Feb, 2020

  • 通过渐进正则化进行神经剪枝

    本文提出了一种新的方法，将正则化引入到神经网络的剪枝问题中，并提出了一种增量L2规范化变量的方法来解决剪枝安排和权重重要性评分的问题。这种增量非常成功，使得我们的算法在结构化和非结构化的剪枝条件下都具有可扩展性，并在CIFAR和ImageNet数据集上取得了与许多现有算法相媲美的结果。

    Dec, 2020

  • 神经网络初始化裁剪的最新进展

    这篇论文首次调查了一种新兴的神经网络裁剪方式——在初始化时裁剪（PaI），并介绍了其稀疏训练和稀疏选择两大主要方法。此外，该论文还提供了一个用于不同PaI方法的基准测试和检查的代码库。

    Mar, 2021

  • 网络修剪的剪枝感知稀疏正则化

    本文提出了一种名为MaskSparsity的新型网络剪枝方法，使用有意义的稀疏正则化方法来选择特定滤波器，以获得更好的模型压缩效果，并在不损失模型准确性的情况下，在Deep Learning领域实现63.03%的FLOP降低和60.34%的参数减少。

    Jan, 2022

  • 超稀疏神经网络：通过自适应正则化将探索转化为利用

    提出了一种新颖且强大的稀疏学习方法：自适应正则化训练（ART）。通过逐步增加权重正则化，我们将稠密网络压缩为稀疏网络，并通过最高权重的方式压缩预训练模型的知识。在极高稀疏度情景下，我们的方法在CIFAR和TinyImageNet上比其他稀疏化方法具有显著的性能提升，并对高量级权重中编码的模式提供了新的认识。

    Aug, 2023

  • 深度神经网络中适应层自适应权重剪枝的高效联合优化

    我们提出了一种新颖的层自适应权重剪枝方法，通过优化输出失真最小化并同时遵守目标剪枝比例约束，实现了对深度神经网络 (DNNs) 的优化。我们发现和利用了多个层的权重剪枝导致的输出失真具有非常重要的可加性特性，并基于此特性将剪枝问题建模为一个组合优化问题，并通过动态规划高效解决。我们用子问题分解的方式使问题具有线性时间复杂度，从而使我们的优化算法快速且适用于 CPU 运行。在 ImageNet 和 CIFAR-10 数据集上的广泛实验证明了我们方法的优越性。在 CIFAR-10 上，我们的方法在 ResNet-32、VGG-16 和 DenseNet-121 的 top-1 准确率方面分别超过了其他方法 1.0%、0.5% 和 0.7%。在 ImageNet 上，我们的方法分别比其他方法提高了 VGG-16 和 ResNet-50 的 top-1 准确率高达 4.7% 和 4.6%。这些结果突出了我们的方法通过层自适应权重剪枝来提升 DNN 性能的效果和实用性。代码将在此 https URL 上提供。

    Aug, 2023

  • 任意$p$范数的分离权重衰减

    通过桥接$L_p$正则化的权重衰减方案，提出了一个简单而有效的稀疏化方法，以应对大规模神经网络的计算和存储要求，并避免了$0<p<1$的正则化梯度发散问题，实验证明其导致高度稀疏的网络，同时保持与标准$L_2$正则化相当的泛化性能。

    Apr, 2024