通过解释剪枝:一种用于深度神经网络剪枝的新标准
本文通过剪枝卷积神经网络来减少其复杂性,进而增加其可解释性。通过实验探究了不同的剪枝比率对于卷积神经网络的可解释性的影响,发现较低的压缩率对可解释性有积极影响,而较高的压缩率则会导致负面影响,并挖掘了提高模型性能和可解释性的 “最佳点”。
Feb, 2023
提出了一种新的神经网络卷积核剪枝方法,通过 Taylor 扩展来近似剪枝参数变化引起的代价函数的改变,并结合反向传播的微调来保持剪枝网络的良好泛化性能,该方法在细粒度分类任务中表现出优异的性能。
Nov, 2016
本文主要利用可解释的人工智能方法,如 DeepLIFT 方法,对 DNNs 进行压缩,包括对 CNN 过滤器和全连接层权重进行的结构化和非结构化剪枝,以及使用聚类算法进行的 DNN 权重的非均匀量化和基于整数的混合精度量化。在图像分类数据集上进行的实验证明了这些方法的有效性和具有价值的应用前景。
Aug, 2020
本文探讨了压缩和特别是修剪滤波器在解释卷积神经网络中的作用,并通过 CAR 压缩算法,演示了修剪具有视觉冗余模式选择性的滤波器的可解释性。作者比较了 AlexNet 的前 20 个 CAR 修剪滤波器的颜色选择性和形状选择性,并引入了一个量化每个图像类对 CNN 滤波器的重要性的 CAR 重要性指数,最后发现对每个 CNN 滤波器最重要和不重要的类标签提供了与该滤波器的可视化模式选择性一致的有意义的解释。
Nov, 2017
本文提出了一种基于滤波器减少方法的 CNNs 加速方法,它不依赖稀疏卷积库,通过移除对输出准确性影响较小的整个滤波器及其连接的特征图,大大降低了计算成本,在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%,并且通过重新训练网络可以接近原始准确性。
Aug, 2016
本文采用基于采样的方法对超参数化网络中的冗余卷积神经网络滤波器进行识别和剔除,方法可同时进行数据术语构造采样分布并保证压缩后的网络在性能和大小方面有证明保证,适用于不同的网络体系结构和数据集。
Nov, 2019
本文提出了一种卷积神经网络的结构冗余剪枝方法,通过在最具有结构冗余性的层剪枝,可以相对于之前研究集中在去除不重要滤波器的方法,更有效地压缩网络架构,并在不同的基准模型和数据集上获得了显著优越的表现
Apr, 2021
本文介绍了一种基于剪枝策略的 CNN 结构压缩方法 CAR。CAR 通过去除对分类精度影响最小的滤波器实现了近似原始分类精度的同时,保留了原始网络中有代表性的滤波器。压缩后的网络更容易理解,因为具有更少的滤波器数目。此外,作者还提出了一种变种算法来量化每个图像类别对每个 CNN 滤波器的重要性,最和次重要的分类标签被证明是每个滤波器的有意义的解释。
May, 2017
本研究提出了一种学习算法,使用数据驱动的方式训练剪枝代理,利用奖励函数去除不必要的卷积神经网络滤波器,从而简化并加速 CNN,并且在维持性能的情况下去除重复权重,减少计算资源消耗,该方法提供了一种易于控制网络性能和规模之间平衡的方法,并通过对多个流行的 CNN 对视觉识别和语义分割任务进行广泛的剪枝实验进行了验证。
Jan, 2018