利用冗余特征剪枝构建高效 ConvNets
本文提出了一种基于滤波器减少方法的 CNNs 加速方法,它不依赖稀疏卷积库,通过移除对输出准确性影响较小的整个滤波器及其连接的特征图,大大降低了计算成本,在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%,并且通过重新训练网络可以接近原始准确性。
Aug, 2016
本文提出了一种卷积神经网络的结构冗余剪枝方法,通过在最具有结构冗余性的层剪枝,可以相对于之前研究集中在去除不重要滤波器的方法,更有效地压缩网络架构,并在不同的基准模型和数据集上获得了显著优越的表现
Apr, 2021
研究表明,通过暂时修剪和恢复模型的子集滤波器,反复进行该过程,可以减少所学习特征的重叠,从而提高了模型的泛化能力;而在这种情况下,现有的模型修剪标准并不是选择修剪滤波器的最优策略,因此引入了滤波器之间内部正交性作为排名标准。这种方法适用于各种类型的卷积神经网络,能够提高各种任务的性能,尤其是小型网络的性能。
Nov, 2018
通过对特征图和卷积核级别进行修剪,可以减少深度卷积神经网络的计算复杂性,而且在 CIFAR-10 数据集上的实验证明,在保持基线网络误分类率不到 1% 的情况下,可以在卷积层中引入超过 85% 的稀疏性。
Oct, 2016
本文提出了一种基于聚类的卷积核剪枝方法,通过在线将卷积核聚类并比较相似的卷积核,可以安全地剪掉同类的冗余卷积核,实现深度神经网络的加速,实验表明该方法在 CIFAR10 与 CIFAR100 数据集上具有竞争性的性能。
May, 2019
本研究提出了一种学习算法,使用数据驱动的方式训练剪枝代理,利用奖励函数去除不必要的卷积神经网络滤波器,从而简化并加速 CNN,并且在维持性能的情况下去除重复权重,减少计算资源消耗,该方法提供了一种易于控制网络性能和规模之间平衡的方法,并通过对多个流行的 CNN 对视觉识别和语义分割任务进行广泛的剪枝实验进行了验证。
Jan, 2018
本文提出一种新的滤波器剪枝方法,该方法结合了多个特征图选择机制:多样性感知选择和相似性感知选择,能够有效地减小卷积神经网络的参数大小和浮点运算数,同时几乎不会降低其分类准确度。
May, 2020
提出了一种新的神经网络卷积核剪枝方法,通过 Taylor 扩展来近似剪枝参数变化引起的代价函数的改变,并结合反向传播的微调来保持剪枝网络的良好泛化性能,该方法在细粒度分类任务中表现出优异的性能。
Nov, 2016
该论文介绍了一种新的网络剪枝方法,针对边缘计算环境中的深度神经网络中的块剪枝。研究方法采用直接的块移除策略来评估对分类准确性的影响,通过对 CIFAR-10、CIFAR-100 和 ImageNet 数据集以 ResNet 架构进行广泛实验,结果表明该方法在减小模型大小的同时保持高准确性方面的有效性,在网络的大部分被剪枝的情况下,尤其是在 ImageNet 上通过对 ResNet50 的剪枝时,其结果突出了该方法在维持模型大小和性能之间的最佳平衡能力,尤其是在资源有限的边缘计算场景中。
Dec, 2023
本研究提出一个基于子空间聚类的卷积神经网络剪枝方法,通过寻找不同特征子空间中的线性关系来消除卷积滤波器中的冗余信息,从而对卷积神经网络实现压缩和加速的目的。经过实验验证,该方法在绝大部分现有方法之前,在微调后实现了最先进的结果。
Mar, 2018