Oct, 2023

增强线性表示冗余下的卷积神经网络滤波器剪枝

PDF
TL;DR提出了一种新的结构修剪方法，在训练期间利用 CCM-loss 来促使神经网络学习强大的线性表示关系，然后设计了一种基于主成分分析的匹配通道选择策略来最大限度地利用 CCM-loss 的潜在能力，达到更高的剪枝率和减少计算量。
structured network pruningccm-lossmatching channel selection strategypruned ratioscomputation reductions
发现论文，激发创造
  • 卷积神经网络结构冗余减少的剪枝

    本文提出了一种卷积神经网络的结构冗余剪枝方法，通过在最具有结构冗余性的层剪枝，可以相对于之前研究集中在去除不重要滤波器的方法，更有效地压缩网络架构，并在不同的基准模型和数据集上获得了显著优越的表现

    Apr, 2021

  • 通过结构稀疏正则化滤波器剪枝实现紧凑型 ConvNets

    本文提出了一种名为结构化稀疏正则化（SSR）的滤波器剪枝方案，它通过两种不同的正则化方法来适应性地裁剪卷积神经网络（CNN）的滤波器，从而提高计算速度和降低内存开销，并通过实验验证了其优异性能。

    Jan, 2019

  • 通过生成对抗学习实现最优结构化 CNN 剪枝

    本研究提出了一种基于 GAN 的方法，通过软屏蔽对过滤器和其他结构进行联合裁剪，并在快速迭代阈值算法（FISTA）的帮助下获得更快速和可靠的裁剪。实验证明该方法在不同数据集上都可以获得显著的性能提升。

    Mar, 2019

  • 深度卷积神经网络的结构化剪枝

    使用结构化稀疏技术、粒子滤波方法和固定点优化技术对深度神经网络进行了精简，优化后可在嵌入式计算机和硬件系统上提供更加高效和优化的实现。

    Dec, 2015

  • 通过协作压缩实现紧凑的 CNN

    本文提出了一种协同压缩方案，将通道剪枝和张量分解结合起来，通过同时学习模型的稀疏性和低秩性来压缩 CNN 模型。该方法在各个数据集和骨干架构上展示了优越的性能提升，例如在 ImageNet 2012 上，我们通过删除 48.4％的参数从 ResNet-50 模型中达到 52.9％的 FLOPs 减少，仅有 0.56％的 Top-1 准确度降低。

    May, 2021

  • 结构化剪枝中连续松弛的泛化

    使用结构化剪枝方法，在不降低推理准确度的情况下，通过算法的网络增强、剪枝、子网络合并和移除，实现了高达 93% 的稀疏度与 95% FLOPs 的减少，同时在分类和分割问题上超过了先进水平，并且避免了在 GPU 上进行计算昂贵的稀疏矩阵运算。

    Aug, 2023

  • 通过结构冗余减少研究通道剪枝 -- 统计研究

    本研究从网络层面出发探讨通道剪枝问题，提出高冗余层的随机剪枝方案能够更有效地提高神经网络的计算效率和准确性。

    May, 2019

  • 一种深层神经网络压缩的新型通道修剪方法

    本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。

    May, 2018

  • 网络修剪的剪枝感知稀疏正则化

    本文提出了一种名为 MaskSparsity 的新型网络剪枝方法，使用有意义的稀疏正则化方法来选择特定滤波器，以获得更好的模型压缩效果，并在不损失模型准确性的情况下，在 Deep Learning 领域实现 63.03% 的 FLOP 降低和 60.34% 的参数减少。

    Jan, 2022

  • REPrune：通过核心代表选择进行通道修剪

    本文提出了一种新的通道修剪技术 REPrune，利用层次聚类方法在每个通道中识别相似的卷积核，并通过最大化聚类覆盖问题来选择卷积滤波器，结合同时训练和修剪的范式，实现训练过程中的高效修剪，实验结果显示 REPrune 在计算机视觉任务中表现优于现有方法，有效地在加速率和性能保留之间取得平衡。

    Feb, 2024