Nov, 2018

基于正则化方法的三维卷积神经网络剪枝

PDF
TL;DR本文提出了一种基于三维正则化神经网络剪枝的方法，通过分配不同的正则化参数来减少计算和存储消耗，通过分析每个层的冗余和计算成本来确定不同的剪枝比例，实验表明，基于我们的方法的剪枝可以为 3DResNet18 和 C3D 等模型带来 2 倍的理论加速，并仅出现 0.41％和 3.28％的准确度损失，该方法在模型压缩和加速方面表现优异。
three-dimensional convolutional neural networksregularization-based neural network pruningmodel compressionaccelerationcomputation cost
发现论文，激发创造
  • 三维卷积神经网络加速：全面修剪框架

    通过将神经网络的深度、宽度和分辨率三个维度综合考虑，将修剪问题视为一个最优化问题，并使用多项式回归的方法确定最优解，实现神经网络修剪，进而提出了两种方法来缩短训练回归所需的时间，并进行实验验证，表明我们提出的算法超越了最新的修剪算法和神经结构搜索算法。

    Oct, 2020

  • 带有预算感知正则化的神经网络结构剪枝

    本研究提出了一种基于预算限制的深度卷积神经网络修剪框架，并利用学习掩码层、创新的预算目标函数以及知识蒸馏等技术进行修剪，实验结果表明，使用我们的方法修剪后的 CNNs 比现有方法更准确、计算更少，同时即使极度剪枝也不影响分类准确度，具有很大的实用价值。

    Nov, 2018

  • 通过增量规则化进行高效卷积神经网络的结构化剪枝

    提出了一种逐步分配不同正则化因子的新型正则化剪枝方法（称为 IncReg），可在不影响 CNN 性能的情况下消除冗余参数，有效性通过与最先进的方法相比较后在流行的 CNN 上得到证明。

    Nov, 2018

  • 卷积神经网络结构冗余减少的剪枝

    本文提出了一种卷积神经网络的结构冗余剪枝方法，通过在最具有结构冗余性的层剪枝，可以相对于之前研究集中在去除不重要滤波器的方法，更有效地压缩网络架构，并在不同的基准模型和数据集上获得了显著优越的表现

    Apr, 2021

  • 在移动设备上实现 3D 卷积神经网络的实时执行

    该论文提出了 RT3D 框架，将神经网络权重修剪和编译器代码生成技术无缝集成，以实现 3D CNN 的模型压缩和移动加速。 RT3D 在现有支持 3D CNN 的移动框架中实现了高达 29.1 倍的推理时间加速，具有适度的 1％-1.5％准确度损失。

    Jul, 2020

  • 高效卷积神经网络中的滤波器裁剪

    本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

    Aug, 2016

  • 一种深层神经网络压缩的新型通道修剪方法

    本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。

    May, 2018

  • 剪枝卷积神经网络以实现高效推理

    提出了一种新的神经网络卷积核剪枝方法，通过 Taylor 扩展来近似剪枝参数变化引起的代价函数的改变，并结合反向传播的微调来保持剪枝网络的良好泛化性能，该方法在细粒度分类任务中表现出优异的性能。

    Nov, 2016

  • 深度网络剪枝：关于人脸识别中 CNN 的比较研究

    通过深度网络剪枝等方法，对基于小型 SqueezeNet、流行的 MobileNetv2 和 ResNet50 架构的网络进行压缩，以实现移动设备上的可靠且实时的人脸识别。

    May, 2024

  • 面向嵌入式 GPU 的性能感知卷积神经网络通道剪枝

    本研究旨在通过对卷积神经网络的通道剪枝方法进行优化，以提高在移动和嵌入式设备上的计算效率，虽然有些情况下通道剪枝算法可能会损害计算性能，但是我们还是发现采用基于性能的剪枝会达到预期的效果。

    Feb, 2020