探索卷积神经网络压缩中特征图子空间的线性关系
本文提出了一种基于滤波器减少方法的 CNNs 加速方法,它不依赖稀疏卷积库,通过移除对输出准确性影响较小的整个滤波器及其连接的特征图,大大降低了计算成本,在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%,并且通过重新训练网络可以接近原始准确性。
Aug, 2016
本文提出一种新的滤波器剪枝方法,该方法结合了多个特征图选择机制:多样性感知选择和相似性感知选择,能够有效地减小卷积神经网络的参数大小和浮点运算数,同时几乎不会降低其分类准确度。
May, 2020
该论文提出了一种通过消除冗余特征(或滤波器)来修剪深度和 / 或宽度卷积神经网络模型的高效技术,其依据特征空间中的相对余弦距离区分它们和它们的连接特征映射并优化精度和推理性能,但优化后的算法能将 VGG-16 的推理成本降低 40%、ResNet-56 的推理成本降低 27%、ResNet-110 的推理成本减少 39%。
Feb, 2018
本研究介绍了一种新的滤波器修剪方法(FSCL), 它在连续层之间明确利用滤波器之间的相似性来压缩模型,从而剪掉那些在模型中不太重要的特征, 并在多个基准模型和数据集上取得了显着的精度、FLOPs 和参数量减少。
Apr, 2023
通过对特征图和卷积核级别进行修剪,可以减少深度卷积神经网络的计算复杂性,而且在 CIFAR-10 数据集上的实验证明,在保持基线网络误分类率不到 1% 的情况下,可以在卷积层中引入超过 85% 的稀疏性。
Oct, 2016
本文提出了一种卷积神经网络的结构冗余剪枝方法,通过在最具有结构冗余性的层剪枝,可以相对于之前研究集中在去除不重要滤波器的方法,更有效地压缩网络架构,并在不同的基准模型和数据集上获得了显著优越的表现
Apr, 2021
本研究提出了一种基于熵的滤波器重要性评估方法,使用该方法来加速和压缩现有的卷积神经网络模型,并通过对过滤器进行快速修剪和精细调整来优化模型的计算性能和泛化能力,以在 ILSVRC-12 基准测试中取得了良好的性能表现,能够在不牺牲模型精度情况下将模型压缩大约 16.64 倍。
Jun, 2017
本文研究了卷积神经网络(CNN)压缩问题并提出了基于内在结构的新颖解释方法,借助该方法提出了核稀疏和熵(KSE)指标以定量化特征图的重要性,进而指导模型压缩,并开展了基于 KSE 指标的核聚类以实现高精度 CNN 压缩,同时具有高效率和优越性能。
Dec, 2018
本文提出了一种基于聚类的卷积核剪枝方法,通过在线将卷积核聚类并比较相似的卷积核,可以安全地剪掉同类的冗余卷积核,实现深度神经网络的加速,实验表明该方法在 CIFAR10 与 CIFAR100 数据集上具有竞争性的性能。
May, 2019
研究表明,通过暂时修剪和恢复模型的子集滤波器,反复进行该过程,可以减少所学习特征的重叠,从而提高了模型的泛化能力;而在这种情况下,现有的模型修剪标准并不是选择修剪滤波器的最优策略,因此引入了滤波器之间内部正交性作为排名标准。这种方法适用于各种类型的卷积神经网络,能够提高各种任务的性能,尤其是小型网络的性能。
Nov, 2018