CVPRMar, 2019

通过生成对抗学习实现最优结构化 CNN 剪枝

PDF
TL;DR本研究提出了一种基于 GAN 的方法，通过软屏蔽对过滤器和其他结构进行联合裁剪，并在快速迭代阈值算法（FISTA）的帮助下获得更快速和可靠的裁剪。实验证明该方法在不同数据集上都可以获得显著的性能提升。
structured pruningconvolutional neural networksfilter pruningsparsity regularizationgenerative adversarial learning
发现论文，激发创造
  • 网络修剪的剪枝感知稀疏正则化

    本文提出了一种名为 MaskSparsity 的新型网络剪枝方法，使用有意义的稀疏正则化方法来选择特定滤波器，以获得更好的模型压缩效果，并在不损失模型准确性的情况下，在 Deep Learning 领域实现 63.03% 的 FLOP 降低和 60.34% 的参数减少。

    Jan, 2022

  • 基于自适应激活的结构化剪枝

    本文提出了一种自适应基于激活的结构化裁剪方法，以自动高效地生成满足用户要求的小型、准确和硬件高效的模型，它提出了迭代性结构化裁剪和自适应剪枝策略，可在不降低精度的情况下大幅减少参数和 FLOPs

    Jan, 2022

  • 裁剪内部层：一种用于高效 U-Net GAN 的结构化剪枝策略

    本研究通过分层修剪来压缩过度参数化的 U-Net 生成器，以用于图像到图像的翻译和语音驱动的说话人生成上，并呈现了学习结构化修剪内层的过滤器来提高效率的结果。

    Jun, 2022

  • 使用遗传算法进行卷积神经网络的多目标剪枝

    提出了一种启发式遗传算法（GA）来剪枝卷积神经网络（CNN），在错误、计算和稀疏性之间进行多目标权衡，经实验证明，GA 可以根据预定义的适应度函数自动剪枝 CNN，得到竞争性的压缩性能。

    Jun, 2019

  • 通过可学习的代理引导和对齐联合训练和修剪 CNN

    本文提出了一种新的结构剪枝方法，通过强化学习代理来联合学习卷积神经网络模型的权重和结构剪枝，其核心元素是一个强化学习代理，通过动态奖励函数来确定 CNN 模型各层的剪枝比例，实验证明该方法在 CIFAR-10 和 ImageNet 数据集上对 ResNets 和 MobileNets 模型具有有效性。

    Mar, 2024

  • 深度卷积神经网络的辅助门控结构自动分块剪枝

    本文介绍一种基于辅助门控机制的结构化网络剪枝方法，通过给主干网中的块分配重要性标记，并提出了一种块级剪枝的投票策略来解决移动设备上使用卷积神经网络时遇到的成本问题。通过知识蒸馏的三阶段训练计划，提高了模型性能，实现了更好的压缩率。实验证明该方法在分类任务中可以取得最先进的压缩性能。此外，通过提供预训练模型，我们的方法可以与其他剪枝方法协同集成，从而实现比未剪枝模型更优异的性能，并减少了超过 93％的浮点运算。

    May, 2022

  • 通过结构稀疏正则化滤波器剪枝实现紧凑型 ConvNets

    本文提出了一种名为结构化稀疏正则化（SSR）的滤波器剪枝方案，它通过两种不同的正则化方法来适应性地裁剪卷积神经网络（CNN）的滤波器，从而提高计算速度和降低内存开销，并通过实验验证了其优异性能。

    Jan, 2019

  • 增强线性表示冗余下的卷积神经网络滤波器剪枝

    提出了一种新的结构修剪方法，在训练期间利用 CCM-loss 来促使神经网络学习强大的线性表示关系，然后设计了一种基于主成分分析的匹配通道选择策略来最大限度地利用 CCM-loss 的潜在能力，达到更高的剪枝率和减少计算量。

    Oct, 2023

  • 通过结构化连续稀疏化增加深度网络的效率

    本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法，与传统的剪枝方法不同，本方法采用渐进式连续松弛和网络优化，然后采样稀疏子网络，使得训练出来的深层网络更加高效。实验结果证明，采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。

    Jul, 2020

  • 结构化剪枝中连续松弛的泛化

    使用结构化剪枝方法，在不降低推理准确度的情况下，通过算法的网络增强、剪枝、子网络合并和移除，实现了高达 93% 的稀疏度与 95% FLOPs 的减少，同时在分类和分割问题上超过了先进水平，并且避免了在 GPU 上进行计算昂贵的稀疏矩阵运算。

    Aug, 2023