NIPSNov, 2018

卷积神经网络快速实时非重训练稀疏化

PDF
TL;DR本论文提出了三种无需重新训练即可进行卷积神经网络稀疏化的方法，研究表明，这些方法能够使得最先进的模型权重减少高达 73％（压缩因子为 3.7 倍），而最多只会损失 5％的 Top-5 精度，附加的微调只能获得 8％的稀疏度，这表明我们的快速稀疏化方法是有效的。
convolutional neural networkssparsificationcompression factortop-5 accuracyon-the-fly methods
发现论文，激发创造
  • 使用稀疏卷积和指导剪枝加速 CNN

    本文提出一种同时实现卷积神经网络的规模经济和速度提升的方法，包括一种有效的一般性稀疏 - 稠密矩阵乘法实现以及一种性能模型，可以预测不同层和不同计算机架构的稀疏水平的最佳值，该方法可在包括移动设备和超级计算机在内的各种处理器上实现 3.1-7.3 倍的卷积速度提升。

    Aug, 2016

  • 通过网络削减学习高效卷积网络

    本文提出了一种名为 “网络瘦身” 的新颖学习方案，可以通过引入通道级稀疏性，简化深度卷积神经网络，降低了其计算成本，减小了运行时内存占用，同时不影响准确度。我们进行了多组实验，证明了该方案在各种图像分类数据集上具有较好的效果。

    Aug, 2017

  • PruneTrain: 动态稀疏模型重组快速神经网络训练

    我们提出了 PruneTrain，这是一种成本高效的机制，可逐步减少训练期间的计算成本，通过使用结构化组套骨骼正则化方法和其他重新配置技术，可以在 GPU 加速器上高效处理缩小了的卷积神经网络模型，从而实现减少计算成本 40％和训练时间 39％的效果。

    Jan, 2019

  • 高效卷积神经网络中的滤波器裁剪

    本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

    Aug, 2016

  • 通过修剪激活梯度加速 CNN 训练

    通过修剪更小的梯度和考虑激活梯度的统计分布，我们提出了一种方法来加速 CNN 训练，这将不会影响准确率。

    Aug, 2019

  • 面向卷积神经网络的广义熵稀疏化

    卷积神经网络 (CNNs) 被报道为过参数化。本文提出了一种基于数学思想的逐层数据驱动剪枝方法，旨在通过最小化网络熵来找到稀疏子网络，以解决网络架构搜索的复杂性问题。该方法在多个基准测试中得到验证，并在中稀疏度达到 55%-84% 时准确度损失为 0.1%-0.5%（LeNet 模型在 MNIST 数据集上），在稀疏度达到 73%-89% 时准确度损失为 0.1%-0.5%（VGG-16 和 ResNet18 模型在 CIFAR-10 数据集上）。

    Apr, 2024

  • 复杂度驱动的卷积神经网络压缩技术：面向资源受限的边缘人工智能

    本文提出了一种新型的卷积神经网络压缩算法，通过利用网络层级复杂性，设计了三种剪枝模式：参数感知型、浮点运算量感知型和内存感知型，以在低功耗设备上实现高效率的模型压缩和加速，并在智能农业，智能医疗和智能工厂等应用中表现出了极高的性能表现。

    Aug, 2022

  • SparseTrain: 利用数据流量稀疏性来实现高效的卷积神经网络训练

    本文提出了 SparseTrain 来加速卷积神经网络的训练，该方法通过完全利用稀疏性，主要包括三个方面的创新：激活梯度剪枝算法、稀疏训练数据流和加速器架构。评估结果表明，与原始训练流程相比，SparseTrain 平均可实现约 2.7 倍的加速和 2.2 倍的能量效率提高。

    Jul, 2020

  • 动态模型剪枝与反馈

    提出一种新的模型压缩方法，通过允许稀疏模式的动态分配和合理使用反馈信号使得模型可以在单一训练过程中生成一个高性能的稀疏模型，且其性能超越了现有的所有修剪方案生成的模型，在 CIFAR-10 和 ImageNet 数据集上进行验证。

    Jun, 2020

  • 卷积神经网络的简约推断：学习并应用在线内核激活规则

    本文提出了一种新的 CNN 设计方法，旨在通过对 CNN 架构和训练过程的综合干预来减少总推理计算量，通过引入一种新的结构元素作为附加组件到任何现代 CNN 架构中，系统地提出了一种数据驱动的开发 CNN 的公式，旨在实时改变大小和形式，从而使计算占用更小。最佳实现的结果表明了在几个现代高端移动计算平台上的显著加速。

    Jan, 2017