Aug, 2022

基于敏感度的卷积神经网络图像分类剪枝框架 (SBPF)

PDF
TL;DR通过增加一些额外的损失，从推理准确性的角度来评估每个层的重要性，我们提出了一种敏感度基于的方法来评估卷积神经网络中每个层的重要性，从而实现鲁棒性压缩。
pruningconvolutional neural networksaccuracysensitivenessinference
发现论文，激发创造
  • 端到端基于敏感度的滤波剪枝

    本文提出了一种新颖的敏感度过滤剪枝算法（SbF-Pruner），可以通过端到端的方式学习每个层的过滤器重要性分数，从而生成性能更优异的稀疏子网络，并且完全不需要预先定义的超参数和层预算。

    Apr, 2022

  • 高效卷积神经网络中的滤波器裁剪

    本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

    Aug, 2016

  • 是滤波剪枝，还是层剪枝，这是一个问题

    本文提出了 LayerPrune 框架，相较于传统基于 filter 的剪枝方法，LayerPrune 基于不同的剪枝指标实现了更高的延迟降低，并使用相同的 filter 重要性判定剪枝最不重要的层，较好地平衡了准确率和删除率。

    Jul, 2020

  • SNIP：基于连接敏感度的单次剪枝神经网络

    本文介绍了一种通过基于连接灵敏度的显著性标准在初始化前修剪神经网络，从而在保持网络性能的同时减少空间和时间复杂度的新方法，并应用于 MNIST、CIFAR-10 和 Tiny-ImageNet 分类任务的各种体系结构中，所得到的极度稀疏网络的准确性与基准网络几乎相同，而且能够证明保留的连接确实与给定任务相关。

    Oct, 2018

  • SAfER: 高效稳健的神经网络推理的层级敏感性评估

    深度神经网络在计算机视觉任务中表现出色，但对于关键应用，需要研究它们的行为和决策原因。本文提出了调查 DNN 层次重要性的方法，旨在估算其对准确性的敏感性，并提出了用于评估该方法的新数据集，为提高 DNN 效率和硬件故障鲁棒性（如位交换）提供了参考。

    Aug, 2023

  • 深度卷积神经网络的可塑性：从随机修剪中恢复

    本文研究深度卷积神经网络滤波器修剪方法，通过检验实验证明，我们使用随机滤波器修剪策略能够获得接近最先进修剪方法的性能，同时在图像分类和目标检测中均能实现显著的加速。

    Jan, 2018

  • 卷积神经网络的敏感性分析与句子分类从业者指南

    本文通过敏感性分析探索了卷积神经网络的架构要素和超参数对句子分类任务的影响，并从实证结果中提出了使用 CNN 进行句子分类的实用建议。

    Oct, 2015

  • 一种基于熵的 CNN 压缩剪枝方法

    本研究提出了一种基于熵的滤波器重要性评估方法，使用该方法来加速和压缩现有的卷积神经网络模型，并通过对过滤器进行快速修剪和精细调整来优化模型的计算性能和泛化能力，以在 ILSVRC-12 基准测试中取得了良好的性能表现，能够在不牺牲模型精度情况下将模型压缩大约 16.64 倍。

    Jun, 2017

  • 剪枝卷积神经网络以实现高效推理

    提出了一种新的神经网络卷积核剪枝方法，通过 Taylor 扩展来近似剪枝参数变化引起的代价函数的改变，并结合反向传播的微调来保持剪枝网络的良好泛化性能，该方法在细粒度分类任务中表现出优异的性能。

    Nov, 2016

  • Play and Prune: 适应性滤波剪枝用于深度模型压缩

    本文提出了基于最小 - 最大框架的卷积神经网络滤波器级别剪枝方法，该方法同时对 CNN 模型参数进行剪枝和微调，具有自适应剪枝率和可直接指定误差容限等特点，在不损失准确性的情况下，有效减少了 VGG-16 的参数数量和 FLOPS。

    May, 2019