剪枝对 CNN 解释性的影响:少即是多
本文提出了一种基于可解释性人工智能概念的 CNN 剪枝方法,通过自动寻找最相关的权重或过滤器,不需要人工调节超参数即可高效压缩模型,而且在具有资源约束的情况下表现更优,适用于计算机视觉领域的任务。
Dec, 2019
本文探讨了压缩和特别是修剪滤波器在解释卷积神经网络中的作用,并通过 CAR 压缩算法,演示了修剪具有视觉冗余模式选择性的滤波器的可解释性。作者比较了 AlexNet 的前 20 个 CAR 修剪滤波器的颜色选择性和形状选择性,并引入了一个量化每个图像类对 CNN 滤波器的重要性的 CAR 重要性指数,最后发现对每个 CNN 滤波器最重要和不重要的类标签提供了与该滤波器的可视化模式选择性一致的有意义的解释。
Nov, 2017
该研究系统地调查和表征神经网络剪枝在计算机视觉中引起偏差的现象,提出基于未压缩模型的易于使用的标准,以确定裁剪是否会增加偏差,并确定在压缩后最容易受到偏差预测影响的样本。
Apr, 2023
本文探讨在资源受限环境下,通过模型剪枝来压缩神经网络模型的方法,提出了一种简单、直接、易于应用的逐渐剪枝技术,并在多个模型 / 数据集上进行了比较,发现大型稀疏模型在保持较高精度的同时可减少 10 倍的参数数量。
Oct, 2017
本文提出了一种新型的卷积神经网络压缩算法,通过利用网络层级复杂性,设计了三种剪枝模式:参数感知型、浮点运算量感知型和内存感知型,以在低功耗设备上实现高效率的模型压缩和加速,并在智能农业,智能医疗和智能工厂等应用中表现出了极高的性能表现。
Aug, 2022
本文提出了一种基于滤波器减少方法的 CNNs 加速方法,它不依赖稀疏卷积库,通过移除对输出准确性影响较小的整个滤波器及其连接的特征图,大大降低了计算成本,在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%,并且通过重新训练网络可以接近原始准确性。
Aug, 2016
本文提出了一种卷积神经网络的结构冗余剪枝方法,通过在最具有结构冗余性的层剪枝,可以相对于之前研究集中在去除不重要滤波器的方法,更有效地压缩网络架构,并在不同的基准模型和数据集上获得了显著优越的表现
Apr, 2021
本文提出一种同时实现卷积神经网络的规模经济和速度提升的方法,包括一种有效的一般性稀疏 - 稠密矩阵乘法实现以及一种性能模型,可以预测不同层和不同计算机架构的稀疏水平的最佳值,该方法可在包括移动设备和超级计算机在内的各种处理器上实现 3.1-7.3 倍的卷积速度提升。
Aug, 2016
本研究提出了一种学习算法,使用数据驱动的方式训练剪枝代理,利用奖励函数去除不必要的卷积神经网络滤波器,从而简化并加速 CNN,并且在维持性能的情况下去除重复权重,减少计算资源消耗,该方法提供了一种易于控制网络性能和规模之间平衡的方法,并通过对多个流行的 CNN 对视觉识别和语义分割任务进行广泛的剪枝实验进行了验证。
Jan, 2018
本研究探讨在已训练的神经网络模型中修剪神经元的问题并提出了一种系统性的方式去除冗余的相似神经元,并且通过在 MNIST 训练网络中修剪密集连接层,达到 85% 的总参数去除率,在 AlexNet 上达到 35%去除率,并且没有明显影响其性能。
Jul, 2015