ECCVSep, 2022

基于摊余推断显著性图的解释驱动网络修剪

PDF
TL;DR本文提出一种基于模型解释的方式对 CNNs 进行精简，在引入一个实时平滑的选择模型以及径向基函数（RBF）等经典几何先验和解释模型的参数化的方式下，通过最大化解释模型的相似性来引导网络裁剪，实现了对性能、精简度和解释一些重要指标的平衡。
cnns compressionchannel pruninginterpretationsselector modelradial basis function
发现论文，激发创造
  • 通过压缩解释卷积神经网络

    本文探讨了压缩和特别是修剪滤波器在解释卷积神经网络中的作用，并通过 CAR 压缩算法，演示了修剪具有视觉冗余模式选择性的滤波器的可解释性。作者比较了 AlexNet 的前 20 个 CAR 修剪滤波器的颜色选择性和形状选择性，并引入了一个量化每个图像类对 CNN 滤波器的重要性的 CAR 重要性指数，最后发现对每个 CNN 滤波器最重要和不重要的类标签提供了与该滤波器的可视化模式选择性一致的有意义的解释。

    Nov, 2017

  • 基于梯度流的深度学习模型压缩中的显著性探究

    本文提出一种基于梯度流的模型修剪方法，综合考虑 BN 和 ReLU 层后的卷积操作对整个特征映射的影响，采用 BN 层中的一阶泰勒多项式标识神经元的重要程度，该方法在图像分类和去噪任务上取得了良好的性能表现。

    Oct, 2021

  • 重新思考卷积层通道剪枝中的小范数低信息量假设

    本文提出一种基于通道修剪的卷积神经网络加速算法，该算法通过端到端随机训练和修剪常量通道的方法得到压缩模型，并在多个图像识别任务上验证了其竞争性能。

    Feb, 2018

  • 通过解释剪枝：一种用于深度神经网络剪枝的新标准

    本文提出了一种基于可解释性人工智能概念的 CNN 剪枝方法，通过自动寻找最相关的权重或过滤器，不需要人工调节超参数即可高效压缩模型，而且在具有资源约束的情况下表现更优，适用于计算机视觉领域的任务。

    Dec, 2019

  • 自适应网络剪枝

    本文提出了一种通过自适应网络剪枝方法（SANP）来降低卷积神经网络的计算成本。该方法引入了通用的显着性和剪枝模块（SPM）来为每个卷积层预测显着性评分，并且针对每个通道剪枝。在两个数据集和三个骨干的广泛实验中，SANP 在分类准确率和剪枝率方面都超过了最先进的方法。

    Oct, 2019

  • 一种深层神经网络压缩的新型通道修剪方法

    本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。

    May, 2018

  • 深度卷积神经网络的结构化剪枝

    使用结构化稀疏技术、粒子滤波方法和固定点优化技术对深度神经网络进行了精简，优化后可在嵌入式计算机和硬件系统上提供更加高效和优化的实现。

    Dec, 2015

  • 通过可学习的代理引导和对齐联合训练和修剪 CNN

    本文提出了一种新的结构剪枝方法，通过强化学习代理来联合学习卷积神经网络模型的权重和结构剪枝，其核心元素是一个强化学习代理，通过动态奖励函数来确定 CNN 模型各层的剪枝比例，实验证明该方法在 CIFAR-10 和 ImageNet 数据集上对 ResNets 和 MobileNets 模型具有有效性。

    Mar, 2024

  • 通过结构稀疏正则化滤波器剪枝实现紧凑型 ConvNets

    本文提出了一种名为结构化稀疏正则化（SSR）的滤波器剪枝方案，它通过两种不同的正则化方法来适应性地裁剪卷积神经网络（CNN）的滤波器，从而提高计算速度和降低内存开销，并通过实验验证了其优异性能。

    Jan, 2019

  • 剪枝卷积神经网络以实现高效推理

    提出了一种新的神经网络卷积核剪枝方法，通过 Taylor 扩展来近似剪枝参数变化引起的代价函数的改变，并结合反向传播的微调来保持剪枝网络的良好泛化性能，该方法在细粒度分类任务中表现出优异的性能。

    Nov, 2016