SUBP：用于 1xN 稀疏 CNNs 多线程加速的软均匀块剪枝

Oct, 2023

SUBP：用于 1xN 稀疏 CNNs 多线程加速的软均匀块剪枝

SUBP: Soft Uniform Block Pruning for 1xN Sparse CNNs Multithreading Acceleration

Jingyang Xiang, Siqi Li, Jun Chen, Shipeng Bai, Yukai Ma...

TL;DR通过软均匀块剪枝法（SUBP），本文提出了一种从零开始训练均匀 1xN 稀疏结构网络的方法，通过块角冗余和均匀重要性抽样，在训练过程中使修剪的块能够以均匀的方式再次生长到网络中，不仅降低了对预训练的依赖性，减少了模型冗余和永久修剪重要块的风险，还实现了负载均衡。在 ImageNet 上的综合实验中，我们的 SUBP 方法在各种 CNN 架构上始终优于基于预训练模型或从零开始训练的现有 1xN 和结构稀疏方法。

Abstract

The study of sparsity in convolutional neural networks (CNNs) has become widespread to compress and accelerate models in environments with limited resources. By constraining N consecutive weights along the output

sparsity convolutional neural networks 1xn sparsity block sparse row soft uniform block pruning

发现论文，激发创造

通过结构稀疏正则化滤波器剪枝实现紧凑型 ConvNets

本文提出了一种名为结构化稀疏正则化（SSR）的滤波器剪枝方案，它通过两种不同的正则化方法来适应性地裁剪卷积神经网络（CNN）的滤波器，从而提高计算速度和降低内存开销，并通过实验验证了其优异性能。

Jan, 2019

网络修剪的剪枝感知稀疏正则化

本文提出了一种名为 MaskSparsity 的新型网络剪枝方法，使用有意义的稀疏正则化方法来选择特定滤波器，以获得更好的模型压缩效果，并在不损失模型准确性的情况下，在 Deep Learning 领域实现 63.03% 的 FLOP 降低和 60.34% 的参数减少。

Jan, 2022

加速稀疏神经网络的训练：一种可以证明有效的 N:M 可转换掩码发现方法

本研究提出了一种新的称为掩码多样性的度量方法来降低 DNN 的内存占用，并介绍了一种可同时用于前向和后向传递的新型可转置细粒度稀疏掩码，通过使用最小成本流问题来寻找最优的可转置掩码，并且还提出了一种将无结构稀疏模型转换为 N:M 细粒度块稀疏模型的方法。

Feb, 2021

面向卷积神经网络的广义熵稀疏化

卷积神经网络 (CNNs) 被报道为过参数化。本文提出了一种基于数学思想的逐层数据驱动剪枝方法，旨在通过最小化网络熵来找到稀疏子网络，以解决网络架构搜索的复杂性问题。该方法在多个基准测试中得到验证，并在中稀疏度达到 55%-84% 时准确度损失为 0.1%-0.5%（LeNet 模型在 MNIST 数据集上），在稀疏度达到 73%-89% 时准确度损失为 0.1%-0.5%（VGG-16 和 ResNet18 模型在 CIFAR-10 数据集上）。

Apr, 2024

卷积神经网络加速的结构化概率裁剪

本文提出一种名为 “结构化概率剪枝” 的卷积神经网络加速新方法，采用概率剪枝方式剪枝卷积层权重，加速 AlexNet 和 VGG-16 在 ImageNet 分类中 4 倍和 2 倍的速度，并且只有 0.3% 和 0.8% 的前 5 位准确率损失。此外，SPP 可直接应用于加速 ResNet 等多分支 CNN 网络，且在 ImageNet 上只有 0.8% 的准确率损失。

Sep, 2017

利用稀疏性在剪枝神经网络中优化大模型训练

本文提出利用稀疏子网络以优化内存利用和通信的方法来加速深度学习中的数据和层间并行算法，并将其融入 AxoNN，实验证明在 512 NVIDIA V100 GPU 上，相比于 AxoNN，DeepSpeed-3D 和 Sputnik，优化后的模型内存消耗减少了 74％，总通信时间减少了 40％，从而提供了 34％的总体加速。

Feb, 2023

PCONV：DNN 权重剪枝中缺失但令人向往的稀疏性，用于移动设备上的实时执行

介绍了新的稀疏度维度 - 粗粒度结构内的细粒度剪枝模式 (PCONV) 方法，通过结构内的细粒度稀疏性和连接性稀疏性提高了精度和计算效率，在实时推理中取得了显著的速度提升，没有准确性损失。

Sep, 2019

PCNN: 面向 CNN 加速器优化的基于模式的细粒度正则剪枝

PCNN 是一种细粒度 1D 修剪模型的技术，使用 SPM 编码 PCNN 中的稀疏性，实现在硬件中高效应用，并在 VGG-16 和 ResNet-18 上实现 8.4 倍的压缩率和仅 0.2% 的精度损失，同时在 55nm 工艺中实现了高达 9.0 倍的加速和 28.39 TOPS/W 的效率以及不到 3.1% 的芯片内存开销。

Feb, 2020

探索卷积神经网络中稀疏结构的规律性

本研究分析稀疏性对深度神经网络加速器的设计效率和预测精度的影响，证明了相对于细粒度稀疏性，粗粒度稀疏性能够在保持同等精度的前提下获得更好的压缩率和更高效的硬件设计

May, 2017

通过结构化连续稀疏化增加深度网络的效率

本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法，与传统的剪枝方法不同，本方法采用渐进式连续松弛和网络优化，然后采样稀疏子网络，使得训练出来的深层网络更加高效。实验结果证明，采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。

Jul, 2020