CVPRNov, 2018

RePr: 卷积滤波器的改进训练

PDF
TL;DR研究表明，通过暂时修剪和恢复模型的子集滤波器，反复进行该过程，可以减少所学习特征的重叠，从而提高了模型的泛化能力；而在这种情况下，现有的模型修剪标准并不是选择修剪滤波器的最优策略，因此引入了滤波器之间内部正交性作为排名标准。这种方法适用于各种类型的卷积神经网络，能够提高各种任务的性能，尤其是小型网络的性能。
convolutional neural networkpruningoverlaptraining methodinter-filter orthogonality
发现论文，激发创造
  • 高效卷积神经网络中的滤波器裁剪

    本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

    Aug, 2016

  • 剪枝卷积神经网络以实现高效推理

    提出了一种新的神经网络卷积核剪枝方法，通过 Taylor 扩展来近似剪枝参数变化引起的代价函数的改变，并结合反向传播的微调来保持剪枝网络的良好泛化性能，该方法在细粒度分类任务中表现出优异的性能。

    Nov, 2016

  • 利用冗余特征剪枝构建高效 ConvNets

    该论文提出了一种通过消除冗余特征（或滤波器）来修剪深度和 / 或宽度卷积神经网络模型的高效技术，其依据特征空间中的相对余弦距离区分它们和它们的连接特征映射并优化精度和推理性能，但优化后的算法能将 VGG-16 的推理成本降低 40％、ResNet-56 的推理成本降低 27％、ResNet-110 的推理成本减少 39％。

    Feb, 2018

  • 用于卷积神经网络的在线过滤聚类和修剪

    本文提出了一种基于聚类的卷积核剪枝方法，通过在线将卷积核聚类并比较相似的卷积核，可以安全地剪掉同类的冗余卷积核，实现深度神经网络的加速，实验表明该方法在 CIFAR10 与 CIFAR100 数据集上具有竞争性的性能。

    May, 2019

  • 卷积神经网络过滤器剪枝学习

    本研究提出了一种学习算法，使用数据驱动的方式训练剪枝代理，利用奖励函数去除不必要的卷积神经网络滤波器，从而简化并加速 CNN，并且在维持性能的情况下去除重复权重，减少计算资源消耗，该方法提供了一种易于控制网络性能和规模之间平衡的方法，并通过对多个流行的 CNN 对视觉识别和语义分割任务进行广泛的剪枝实验进行了验证。

    Jan, 2018

  • 具有粗糙剪枝的紧凑卷积神经网络

    通过对特征图和卷积核级别进行修剪，可以减少深度卷积神经网络的计算复杂性，而且在 CIFAR-10 数据集上的实验证明，在保持基线网络误分类率不到 1% 的情况下，可以在卷积层中引入超过 85% 的稀疏性。

    Oct, 2016

  • 高效神经网络的可证明滤波裁剪

    本文采用基于采样的方法对超参数化网络中的冗余卷积神经网络滤波器进行识别和剔除，方法可同时进行数据术语构造采样分布并保证压缩后的网络在性能和大小方面有证明保证，适用于不同的网络体系结构和数据集。

    Nov, 2019

  • 深度卷积神经网络的可塑性：从随机修剪中恢复

    本文研究深度卷积神经网络滤波器修剪方法，通过检验实验证明，我们使用随机滤波器修剪策略能够获得接近最先进修剪方法的性能，同时在图像分类和目标检测中均能实现显著的加速。

    Jan, 2018

  • 训练期间自适应排名谱剪枝卷积层

    本文提出一种基于张量 Tucker 分解的低参数训练方法，通过自适应剪枝卷积核的 Tucker 秩来降低训练成本，并在保证损失下降的情况下，达到与完整基线模型相当甚至更好的性能。

    May, 2023

  • 卷积神经网络结构冗余减少的剪枝

    本文提出了一种卷积神经网络的结构冗余剪枝方法，通过在最具有结构冗余性的层剪枝，可以相对于之前研究集中在去除不重要滤波器的方法，更有效地压缩网络架构，并在不同的基准模型和数据集上获得了显著优越的表现

    Apr, 2021