CVPRJul, 2021

高效修剪深层次、复杂卷积神经网络中的相似过滤器冗余

PDF
TL;DR本文提出了一种新的 Centripetal SGD 方法，在卷积神经网络的训练过程中利用冗余性来便于网络修剪。C-SGD 使一些滤波器重复，从而产生理想的冗余模式，更好地组织冗余性以获得更好的性能。C-SGD 具有非常高的效率，无需微调，可以同时在所有层中进行，甚至在非常深的 CNN 中也适用，并且可以通过先训练更宽层次的模型进而提高 CNN 的准确性。
convolutional neural networksredundancyfilter pruningcentripetal sgdaccuracy improvement
发现论文，激发创造
  • 使用向心 SGD 进行具有复杂结构的非常深的卷积神经网络剪枝

    本文提出了一种名为 Centripetal SGD 的新型优化方法，它可以训练多个滤波器折叠到参数超空间中的单个点，从而实现网络瘦身并修剪冗余的滤波器，实验证明 C-SGD 滤波器修剪可以在不需要微调的情况下有效地减少网络规模，同时提高收敛速度和性能。

    Apr, 2019

  • 卷积神经网络结构冗余减少的剪枝

    本文提出了一种卷积神经网络的结构冗余剪枝方法，通过在最具有结构冗余性的层剪枝，可以相对于之前研究集中在去除不重要滤波器的方法，更有效地压缩网络架构，并在不同的基准模型和数据集上获得了显著优越的表现

    Apr, 2021

  • 利用冗余特征剪枝构建高效 ConvNets

    该论文提出了一种通过消除冗余特征（或滤波器）来修剪深度和 / 或宽度卷积神经网络模型的高效技术，其依据特征空间中的相对余弦距离区分它们和它们的连接特征映射并优化精度和推理性能，但优化后的算法能将 VGG-16 的推理成本降低 40％、ResNet-56 的推理成本降低 27％、ResNet-110 的推理成本减少 39％。

    Feb, 2018

  • 增强线性表示冗余下的卷积神经网络滤波器剪枝

    提出了一种新的结构修剪方法，在训练期间利用 CCM-loss 来促使神经网络学习强大的线性表示关系，然后设计了一种基于主成分分析的匹配通道选择策略来最大限度地利用 CCM-loss 的潜在能力，达到更高的剪枝率和减少计算量。

    Oct, 2023

  • 基于图中心性的滤波器剪枝压缩音频 CNNs

    通过使用中心性度量方法，提出了一种 CNN 剪枝框架来减少网络中不必要的滤波器数量，从而提高计算和存储效率，实验结果表明，在不损失准确性方面，对于声音场景分类和音频标记，该方法分别可将每次推理的计算量降低 71％和 24％。

    May, 2023

  • 通过网络削减学习高效卷积网络

    本文提出了一种名为 “网络瘦身” 的新颖学习方案，可以通过引入通道级稀疏性，简化深度卷积神经网络，降低了其计算成本，减小了运行时内存占用，同时不影响准确度。我们进行了多组实验，证明了该方案在各种图像分类数据集上具有较好的效果。

    Aug, 2017

  • RePr: 卷积滤波器的改进训练

    研究表明，通过暂时修剪和恢复模型的子集滤波器，反复进行该过程，可以减少所学习特征的重叠，从而提高了模型的泛化能力；而在这种情况下，现有的模型修剪标准并不是选择修剪滤波器的最优策略，因此引入了滤波器之间内部正交性作为排名标准。这种方法适用于各种类型的卷积神经网络，能够提高各种任务的性能，尤其是小型网络的性能。

    Nov, 2018

  • 一种深层神经网络压缩的新型通道修剪方法

    本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。

    May, 2018

  • 用于卷积神经网络的在线过滤聚类和修剪

    本文提出了一种基于聚类的卷积核剪枝方法，通过在线将卷积核聚类并比较相似的卷积核，可以安全地剪掉同类的冗余卷积核，实现深度神经网络的加速，实验表明该方法在 CIFAR10 与 CIFAR100 数据集上具有竞争性的性能。

    May, 2019

  • 特征统计指导的高效滤波器剪枝

    本文提出一种新的滤波器剪枝方法，该方法结合了多个特征图选择机制：多样性感知选择和相似性感知选择，能够有效地减小卷积神经网络的参数大小和浮点运算数，同时几乎不会降低其分类准确度。

    May, 2020