NIPSMay, 2017

探索卷积神经网络中稀疏结构的规律性

PDF
TL;DR本研究分析稀疏性对深度神经网络加速器的设计效率和预测精度的影响，证明了相对于细粒度稀疏性，粗粒度稀疏性能够在保持同等精度的前提下获得更好的压缩率和更高效的硬件设计
sparsitydeep neural networksacceleratorscoarse-grained pruninghardware design
发现论文，激发创造
  • 在 GPU 上实现高效的 DNN 推断的平衡稀疏性

    本文提出一种新的 fine-grained sparsity 方法，即平衡稀疏化方法，使得深度学习模型在商用硬件上得以高效地获得准确性和加速，同时利用 GPU 的高并行特性，取得了高达 3.1 倍的实际加速效果。

    Nov, 2018

  • 深度卷积神经网络的结构化剪枝

    使用结构化稀疏技术、粒子滤波方法和固定点优化技术对深度神经网络进行了精简，优化后可在嵌入式计算机和硬件系统上提供更加高效和优化的实现。

    Dec, 2015

  • PCONV：DNN 权重剪枝中缺失但令人向往的稀疏性，用于移动设备上的实时执行

    介绍了新的稀疏度维度 - 粗粒度结构内的细粒度剪枝模式 (PCONV) 方法，通过结构内的细粒度稀疏性和连接性稀疏性提高了精度和计算效率，在实时推理中取得了显著的速度提升，没有准确性损失。

    Sep, 2019

  • PCNN: 面向 CNN 加速器优化的基于模式的细粒度正则剪枝

    PCNN 是一种细粒度 1D 修剪模型的技术，使用 SPM 编码 PCNN 中的稀疏性，实现在硬件中高效应用，并在 VGG-16 和 ResNet-18 上实现 8.4 倍的压缩率和仅 0.2% 的精度损失，同时在 55nm 工艺中实现了高达 9.0 倍的加速和 28.39 TOPS/W 的效率以及不到 3.1% 的芯片内存开销。

    Feb, 2020

  • 网络修剪的剪枝感知稀疏正则化

    本文提出了一种名为 MaskSparsity 的新型网络剪枝方法，使用有意义的稀疏正则化方法来选择特定滤波器，以获得更好的模型压缩效果，并在不损失模型准确性的情况下，在 Deep Learning 领域实现 63.03% 的 FLOP 降低和 60.34% 的参数减少。

    Jan, 2022

  • 具有粗糙剪枝的紧凑卷积神经网络

    通过对特征图和卷积核级别进行修剪，可以减少深度卷积神经网络的计算复杂性，而且在 CIFAR-10 数据集上的实验证明，在保持基线网络误分类率不到 1% 的情况下，可以在卷积层中引入超过 85% 的稀疏性。

    Oct, 2016

  • 通过结构稀疏正则化滤波器剪枝实现紧凑型 ConvNets

    本文提出了一种名为结构化稀疏正则化（SSR）的滤波器剪枝方案，它通过两种不同的正则化方法来适应性地裁剪卷积神经网络（CNN）的滤波器，从而提高计算速度和降低内存开销，并通过实验验证了其优异性能。

    Jan, 2019

  • FSCNN: 一种快速的稀疏卷积神经网络推理系统

    本文主要介绍了利用大规模稀疏结构提高卷积神经网络推理效率的方法， 开发了一种名为 FSCNN 的稀疏卷积神经网络推理系统，能够在一定的稀疏程度下优于标准深度学习库 PyTorch，但遇到高优化密集运算时推理效率有一定局限性，因此推荐采用粗粒度稀疏度进行通用模型压缩。

    Dec, 2022

  • 从头开始学习 N:M 细粒度结构稀疏神经网络

    本文研究了一种 N:M 级别的深度神经网络稀疏网络，在专门设计的 GPU 上同时具有非结构化细粒度稀疏性和结构化粗粒度稀疏性的优点，解决了传统稀疏网络的效率问题，同时提出了一种 Sparse-refined Straight-through Estimator 方法，解决了传统优化方法下的负面影响。

    Feb, 2021

  • 基于数据驱动的深度神经网络稀疏结构选择

    本文提出了一种简单有效的框架来对深度模型进行端到端的剪枝，方法是先引入一个称为 “缩放因子” 的新参数来缩放特定结构的输出，然后对这些因子加入稀疏正则化，并通过修改的随机加速远端梯度（APG）方法解决这个优化问题。将某些因子强制为零，可以安全地移除对应的结构，从而削减 CNN 的不重要部分，该方法相较于其他需要数千次试验或迭代微调的结构选择方法具有更好的性能。

    Jul, 2017