Jan, 2019

通过结构稀疏正则化滤波器剪枝实现紧凑型ConvNets

HTML
PDF
TL;DR本文提出了一种名为结构化稀疏正则化（SSR）的滤波器剪枝方案，它通过两种不同的正则化方法来适应性地裁剪卷积神经网络（CNN）的滤波器，从而提高计算速度和降低内存开销，并通过实验验证了其优异性能。
发现论文，激发创造
  • 深度卷积神经网络的结构化剪枝

    使用结构化稀疏技术、粒子滤波方法和固定点优化技术对深度神经网络进行了精简，优化后可在嵌入式计算机和硬件系统上提供更加高效和优化的实现。

    Dec, 2015

  • 深度神经网络中的结构稀疏学习

    本文提出了一种结构稀疏学习方法，用于规范深度神经网络的结构和减少计算开销，通过SSL算法，可以在CPU和GPU设备中获得5.1x和3.1x的卷积层计算加速，同时可以通过规范DNN结构来提高分类准确性。

    Aug, 2016

  • 高效卷积神经网络中的滤波器裁剪

    本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

    Aug, 2016

  • 关于卷积神经网络中隐式滤波器级别稀疏性的研究

    研究表明，使用Batch Normalization和ReLU激活的卷积神经网络，在采用适应性梯度下降和L2正则化或权重衰减训练的情况下，会出现滤波器级别的稀疏性，这种隐式的稀疏性可以利用以达到神经网络加速的效果。

    Nov, 2018

  • 通过生成对抗学习实现最优结构化CNN剪枝

    本研究提出了一种基于GAN的方法，通过软屏蔽对过滤器和其他结构进行联合裁剪，并在快速迭代阈值算法（FISTA）的帮助下获得更快速和可靠的裁剪。实验证明该方法在不同数据集上都可以获得显著的性能提升。

    Mar, 2019

  • Play and Prune: 适应性滤波剪枝用于深度模型压缩

    本文提出了基于最小-最大框架的卷积神经网络滤波器级别剪枝方法，该方法同时对CNN模型参数进行剪枝和微调，具有自适应剪枝率和可直接指定误差容限等特点，在不损失准确性的情况下，有效减少了VGG-16的参数数量和FLOPS。

    May, 2019

  • 高效神经网络的可证明滤波裁剪

    本文采用基于采样的方法对超参数化网络中的冗余卷积神经网络滤波器进行识别和剔除，方法可同时进行数据术语构造采样分布并保证压缩后的网络在性能和大小方面有证明保证，适用于不同的网络体系结构和数据集。

    Nov, 2019

  • 深度学习中的稀疏性: 剪枝和生长用于神经网络的高效推理和训练

    本文系统梳理了当前深度学习领域中关于稀疏性技术的研究现状，并提供了丰富的稀疏性实现、训练策略及其数学方法等方面的教程，指明如何通过利用稀疏性以达到优化神经网络结构和提高性能的目的。

    Jan, 2021

  • 网络修剪的剪枝感知稀疏正则化

    本文提出了一种名为MaskSparsity的新型网络剪枝方法，使用有意义的稀疏正则化方法来选择特定滤波器，以获得更好的模型压缩效果，并在不损失模型准确性的情况下，在Deep Learning领域实现63.03%的FLOP降低和60.34%的参数减少。

    Jan, 2022

  • 通过半结构化激活稀疏化加速深度神经网络

    通过在计算通用矩阵乘法（GEMM）时考虑激活的最终位置，我们设计了一种稀疏训练过程，以诱导可利用的半结构化激活稀疏性，并在图像分类和目标检测任务中对其进行了广泛评估，结果显示在 ImageNet 数据集上，我们的方法在 ResNet18 模型上实现了 1.25 倍的加速，并仅有 1.1% 的最小精度降低；另外，与先进的结构化剪枝方法相结合，得到的模型在延迟和准确性之间取得了很好的平衡，优于仅采用结构化剪枝技术的模型。

    Sep, 2023