通过压缩解释卷积神经网络

NIPSNov, 2017

Interpreting Convolutional Neural Networks Through Compression

Reza Abbasi-Asl, Bin Yu

TL;DR本文探讨了压缩和特别是修剪滤波器在解释卷积神经网络中的作用，并通过 CAR 压缩算法，演示了修剪具有视觉冗余模式选择性的滤波器的可解释性。作者比较了 AlexNet 的前 20 个 CAR 修剪滤波器的颜色选择性和形状选择性，并引入了一个量化每个图像类对 CNN 滤波器的重要性的 CAR 重要性指数，最后发现对每个 CNN 滤波器最重要和不重要的类标签提供了与该滤波器的可视化模式选择性一致的有意义的解释。

Abstract

convolutional neural networks (CNNs) achieve state-of-the-art performance in a wide variety of tasks in computer vision. However, interpreting CNNs still remains a challenge. This is mainly due to the large number of parameters in these networks. Here, we investigate the role of

convolutional neural networks compression pruning filters interpretability pattern selectivity

发现论文，激发创造

卷积神经网络的结构压缩

本文介绍了一种基于剪枝策略的 CNN 结构压缩方法 CAR。CAR 通过去除对分类精度影响最小的滤波器实现了近似原始分类精度的同时，保留了原始网络中有代表性的滤波器。压缩后的网络更容易理解，因为具有更少的滤波器数目。此外，作者还提出了一种变种算法来量化每个图像类别对每个 CNN 滤波器的重要性，最和次重要的分类标签被证明是每个滤波器的有意义的解释。

May, 2017

剪枝对 CNN 解释性的影响：少即是多

本文通过剪枝卷积神经网络来减少其复杂性，进而增加其可解释性。通过实验探究了不同的剪枝比率对于卷积神经网络的可解释性的影响，发现较低的压缩率对可解释性有积极影响，而较高的压缩率则会导致负面影响，并挖掘了提高模型性能和可解释性的 “最佳点”。

Feb, 2023

卷积神经网络结构冗余减少的剪枝

本文提出了一种卷积神经网络的结构冗余剪枝方法，通过在最具有结构冗余性的层剪枝，可以相对于之前研究集中在去除不重要滤波器的方法，更有效地压缩网络架构，并在不同的基准模型和数据集上获得了显著优越的表现

Apr, 2021

高效卷积神经网络中的滤波器裁剪

本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

Aug, 2016

通过解释剪枝：一种用于深度神经网络剪枝的新标准

本文提出了一种基于可解释性人工智能概念的 CNN 剪枝方法，通过自动寻找最相关的权重或过滤器，不需要人工调节超参数即可高效压缩模型，而且在具有资源约束的情况下表现更优，适用于计算机视觉领域的任务。

Dec, 2019

一种基于熵的 CNN 压缩剪枝方法

本研究提出了一种基于熵的滤波器重要性评估方法，使用该方法来加速和压缩现有的卷积神经网络模型，并通过对过滤器进行快速修剪和精细调整来优化模型的计算性能和泛化能力，以在 ILSVRC-12 基准测试中取得了良好的性能表现，能够在不牺牲模型精度情况下将模型压缩大约 16.64 倍。

Jun, 2017

基于摊余推断显著性图的解释驱动网络修剪

本文提出一种基于模型解释的方式对 CNNs 进行精简，在引入一个实时平滑的选择模型以及径向基函数（RBF）等经典几何先验和解释模型的参数化的方式下，通过最大化解释模型的相似性来引导网络裁剪，实现了对性能、精简度和解释一些重要指标的平衡。

Sep, 2022

复杂度驱动的卷积神经网络压缩技术：面向资源受限的边缘人工智能

本文提出了一种新型的卷积神经网络压缩算法，通过利用网络层级复杂性，设计了三种剪枝模式：参数感知型、浮点运算量感知型和内存感知型，以在低功耗设备上实现高效率的模型压缩和加速，并在智能农业，智能医疗和智能工厂等应用中表现出了极高的性能表现。

Aug, 2022

高效神经网络的可证明滤波裁剪

本文采用基于采样的方法对超参数化网络中的冗余卷积神经网络滤波器进行识别和剔除，方法可同时进行数据术语构造采样分布并保证压缩后的网络在性能和大小方面有证明保证，适用于不同的网络体系结构和数据集。

Nov, 2019

卷积神经网络过滤器剪枝学习

本研究提出了一种学习算法，使用数据驱动的方式训练剪枝代理，利用奖励函数去除不必要的卷积神经网络滤波器，从而简化并加速 CNN，并且在维持性能的情况下去除重复权重，减少计算资源消耗，该方法提供了一种易于控制网络性能和规模之间平衡的方法，并通过对多个流行的 CNN 对视觉识别和语义分割任务进行广泛的剪枝实验进行了验证。

Jan, 2018