ICMLSep, 2022

带有衰减剪枝掩码的 N:M 结构稀疏化训练配方

PDF
TL;DR本文研究 N:M 稀疏性训练的不同方法，并提出了两种新的基于衰减的修剪方法，即 “修剪掩码衰减” 和 “稀疏结构衰减”。研究表明，这些提出的方法在保持与非结构化稀疏性可比的模型精度同时，增加的总训练计算量（FLOPs）相对较小。
structured sparsityn:m sparsitytraining recipespruning mask decaysparse structure decay
发现论文，激发创造
  • 加速稀疏神经网络的训练：一种可以证明有效的 N:M 可转换掩码发现方法

    本研究提出了一种新的称为掩码多样性的度量方法来降低 DNN 的内存占用，并介绍了一种可同时用于前向和后向传递的新型可转置细粒度稀疏掩码，通过使用最小成本流问题来寻找最优的可转置掩码，并且还提出了一种将无结构稀疏模型转换为 N:M 细粒度块稀疏模型的方法。

    Feb, 2021

  • Transformer 中鲁棒性 N:M 稀疏训练的渐进梯度流

    现有稀疏训练方法在高稀疏度区域存在模型质量下降的问题，本文通过限制梯度传递以减少梯度噪声，提供了一种改善高稀疏度区域视觉和语言模型性能的方法，并针对模型精度和训练计算成本的权衡问题进行了评估。

    Feb, 2024

  • 从头开始学习 N:M 细粒度结构稀疏神经网络

    本文研究了一种 N:M 级别的深度神经网络稀疏网络，在专门设计的 GPU 上同时具有非结构化细粒度稀疏性和结构化粗粒度稀疏性的优点，解决了传统稀疏网络的效率问题，同时提出了一种 Sparse-refined Straight-through Estimator 方法，解决了传统优化方法下的负面影响。

    Feb, 2021

  • 细粒度结构化稀疏感知图像修复

    本文提出了一种新的修剪方法，用于在不影响恢复精度的情况下减小图像修复网络的尺寸，该方法根据每个层的不同计算复杂度和性能要求确定 N:M 结构稀疏的修剪比，通过大量的实验结果表明，该方法在超分辨率和去模糊任务中的表现优于以前的修剪方法。

    Apr, 2022

  • 基于算法、架构和数据流共同设计的高效稀疏 DNN 训练

    提出了一个计算高效的 N:M 稀疏深度神经网络（DNN）训练方案，包括算法、架构和数据流共同设计，并利用双向权重修剪方法和稀疏加速器实现了高效的 N:M 稀疏 DNN 训练，在几种 DNN 模型和数据集上的实验结果表明，在 2:8 稀疏比率下，该方案相对于密集训练可实现平均 1.75 倍的加速，准确度损失平均仅为 0.56%，在 FPGA 加速器上训练吞吐量提高了 2.97~25.22 倍，能效提高了 1.36~3.58 倍。

    Sep, 2023

  • 结构稀疏动态稀疏训练

    本研究提出了一种基于 DST 方法的 N:M 结构稀疏化学习方案，其具有较高的稀疏度并支持常见的硬件加速方式，在理论和实践中都表现出较好的泛化性能与较低的推理时间。

    May, 2023

  • 通过半结构化激活稀疏化加速深度神经网络

    通过在计算通用矩阵乘法（GEMM）时考虑激活的最终位置，我们设计了一种稀疏训练过程，以诱导可利用的半结构化激活稀疏性，并在图像分类和目标检测任务中对其进行了广泛评估，结果显示在 ImageNet 数据集上，我们的方法在 ResNet18 模型上实现了 1.25 倍的加速，并仅有 1.1% 的最小精度降低；另外，与先进的结构化剪枝方法相结合，得到的模型在延迟和准确性之间取得了很好的平衡，优于仅采用结构化剪枝技术的模型。

    Sep, 2023

  • 网络修剪的剪枝感知稀疏正则化

    本文提出了一种名为 MaskSparsity 的新型网络剪枝方法，使用有意义的稀疏正则化方法来选择特定滤波器，以获得更好的模型压缩效果，并在不损失模型准确性的情况下，在 Deep Learning 领域实现 63.03% 的 FLOP 降低和 60.34% 的参数减少。

    Jan, 2022

  • 大规模神经架构的反向传播压缩：结构化激活剪枝

    通过在深度神经网络中采用结构化修剪和块稀疏性操作，目前的研究旨在通过减少激活值的内存消耗来减小 GPU 内存需求，从而降低大规模模型训练的要求并解决生态环境问题。

    Nov, 2023

  • 探索卷积神经网络中稀疏结构的规律性

    本研究分析稀疏性对深度神经网络加速器的设计效率和预测精度的影响，证明了相对于细粒度稀疏性，粗粒度稀疏性能够在保持同等精度的前提下获得更好的压缩率和更高效的硬件设计

    May, 2017