Aug, 2016

使用稀疏卷积和指导剪枝加速 CNN

PDF
TL;DR本文提出一种同时实现卷积神经网络的规模经济和速度提升的方法，包括一种有效的一般性稀疏 - 稠密矩阵乘法实现以及一种性能模型，可以预测不同层和不同计算机架构的稀疏水平的最佳值，该方法可在包括移动设备和超级计算机在内的各种处理器上实现 3.1-7.3 倍的卷积速度提升。
convolutional neural networkspruningsparsity structuresmatrix multiplicationperformance model
发现论文，激发创造
  • 高效卷积神经网络中的滤波器裁剪

    本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

    Aug, 2016

  • 卷积神经网络快速实时非重训练稀疏化

    本论文提出了三种无需重新训练即可进行卷积神经网络稀疏化的方法，研究表明，这些方法能够使得最先进的模型权重减少高达 73％（压缩因子为 3.7 倍），而最多只会损失 5％的 Top-5 精度，附加的微调只能获得 8％的稀疏度，这表明我们的快速稀疏化方法是有效的。

    Nov, 2018

  • 深度卷积神经网络的结构化剪枝

    使用结构化稀疏技术、粒子滤波方法和固定点优化技术对深度神经网络进行了精简，优化后可在嵌入式计算机和硬件系统上提供更加高效和优化的实现。

    Dec, 2015

  • FSCNN: 一种快速的稀疏卷积神经网络推理系统

    本文主要介绍了利用大规模稀疏结构提高卷积神经网络推理效率的方法， 开发了一种名为 FSCNN 的稀疏卷积神经网络推理系统，能够在一定的稀疏程度下优于标准深度学习库 PyTorch，但遇到高优化密集运算时推理效率有一定局限性，因此推荐采用粗粒度稀疏度进行通用模型压缩。

    Dec, 2022

  • 具有粗糙剪枝的紧凑卷积神经网络

    通过对特征图和卷积核级别进行修剪，可以减少深度卷积神经网络的计算复杂性，而且在 CIFAR-10 数据集上的实验证明，在保持基线网络误分类率不到 1% 的情况下，可以在卷积层中引入超过 85% 的稀疏性。

    Oct, 2016

  • PCONV：DNN 权重剪枝中缺失但令人向往的稀疏性，用于移动设备上的实时执行

    介绍了新的稀疏度维度 - 粗粒度结构内的细粒度剪枝模式 (PCONV) 方法，通过结构内的细粒度稀疏性和连接性稀疏性提高了精度和计算效率，在实时推理中取得了显著的速度提升，没有准确性损失。

    Sep, 2019

  • 剪枝卷积神经网络以实现高效推理

    提出了一种新的神经网络卷积核剪枝方法，通过 Taylor 扩展来近似剪枝参数变化引起的代价函数的改变，并结合反向传播的微调来保持剪枝网络的良好泛化性能，该方法在细粒度分类任务中表现出优异的性能。

    Nov, 2016

  • 利用和保持卷积网络中的稀疏性的推断、学习和注意力机制

    本文介绍一种利用 CNNs 去处理罕见数据的工具套件，包括直接稀疏卷积、注意力机制避免填充，以及适用于标准学习框架的反向传播算法改进，可以实现比传统密集框架更低的内存足迹和计算时间。

    Jan, 2018

  • 通过修剪激活梯度加速 CNN 训练

    通过修剪更小的梯度和考虑激活梯度的统计分布，我们提出了一种方法来加速 CNN 训练，这将不会影响准确率。

    Aug, 2019

  • 面向嵌入式 GPU 的性能感知卷积神经网络通道剪枝

    本研究旨在通过对卷积神经网络的通道剪枝方法进行优化，以提高在移动和嵌入式设备上的计算效率，虽然有些情况下通道剪枝算法可能会损害计算性能，但是我们还是发现采用基于性能的剪枝会达到预期的效果。

    Feb, 2020