Jul, 2024

视觉模型的同构剪枝

PDF
TL;DR通过去除冗余子结构，结构剪枝减少了深度神经网络的计算开销。鉴于先进的视觉模型具有自注意力、深度卷积或残差连接等新机制和新架构，评估不同子结构的相对重要性仍然是一个重大挑战。为了克服这个问题，我们提出了同构剪枝，这是一种简单的方法，在视觉变换器和卷积神经网络等多种网络架构上都展现了有效性，并在不同模型大小上提供了竞争性能。同构剪枝源自一个观察，即在预定义的重要性标准下评估时，异构子结构的重要性分布存在显著差异，而同构结构呈现类似的重要性模式。这启发我们对不同类型的子结构进行独立的排名和比较，以实现更可靠的剪枝。我们在 ImageNet-1K 上的经验证明，同构剪枝超过了专门为变换器或卷积神经网络设计的几种剪枝基线。例如，我们通过剪枝现成的 DeiT-Base 模型，将 DeiT-Tiny 的准确度从 74.52% 提高到 77.50%。对于 ConvNext-Tiny，我们在降低参数数量和内存使用的同时，将性能从 82.06% 提高到 82.18%。代码可在 https://github.com/VainF/Isomorphic-Pruning 上找到。
structured pruningneural networksisomorphic pruningimportance comparisonpruning baselines
发现论文，激发创造
  • 多任务深度神经网络的结构剪枝

    本文研究了定结构剪枝在多任务深度神经网络模型中的有效性。通过使用基于现有单任务筛选剪枝标准和基于多任务学习筛选剪枝标准，采用迭代剪枝策略进行剪枝，本文表明在参数数目相似的情况下，与快速单任务 DNN 相比，DNN 多任务可以通过精心的超参数调整实现相似的性能，迭代权重剪枝可能不是实现良好性能剪裁模型的最好方式。

    Apr, 2023

  • 层次视觉变形器的无数据依赖模块感知剪枝

    本研究提出了一种基于数据无关的模块感知剪枝方法（DIMAP），用于压缩层级视觉转换器。该方法通过分析信息失真来公正地比较不同层级的 “局部” 注意力权重的贡献，并且引入一种基于权重的新型度量，在不依赖于输入图像的情况下消除了对图块合并过程的依赖性。该方法在 ImageNet-1k 分类上以及不同尺寸的 Swin Transformers 上验证了其有效性和优势，在去除了 Swin-B 52.5％的 FLOPs 和 52.7％的参数时，仅降低了 0.07％的 Top-5 准确率；而在减少 Swin-S 33.2％的 FLOPs 和 33.2％的参数时，甚至可以实现比原模型更高的 0.8％相对 Top-5 准确率。

    Apr, 2024

  • GOHSP：视觉 Transformer 的图结构和基于优化的异构结构剪枝统一框架

    本文提出了 GOHSP，一个统一的基于图形和优化的结构化剪枝框架，用于基于 ViT 模型的计算机视觉任务的参数压缩，达到了优秀的剪枝效果，例如，在 CIFAR-10 数据集上，使用本文的方法可以将 ViT-Small 模型的参数减少 40％，并不会损失准确性，在 ImageNet 数据集上，使用本文的方法，DeiT-Tiny 和 DeiT-Small 模型可以获得比现有的结构化剪枝方法更高的准确性。

    Jan, 2023

  • 从头开始剪枝

    本文提出了一种新颖的网络修剪流程，允许从随机初始化的权重开始修剪，加速了传统剪枝方法的预训练负担，同时在相同的计算预算下达到了类似甚至更高的准确性。

    Sep, 2019

  • 基于张量处理器的卷积网络结构模型剪枝

    本研究使用 VGG-16 模型作为示例，测量了各种结构模型修剪方法和数据集（CIFAR-10 和 ImageNet）在 Tensor Processing Units（TPUs）上的准确性和效率之间的权衡，使用 TensorFlow2 开发了一个结构模型修剪库以在 TPUs 上显着提高模型内存使用和速度而不失准确性，这尤其适用于较小的数据集（如 CIFAR-10）。

    Jul, 2021

  • LPViT：低功耗半结构化剪枝用于视觉 Transformer

    该论文介绍了一种新的块结构剪枝方法，用于解决视觉转换器的资源密集问题，通过均衡的权衡准确性和硬件加速，使其在保持高性能的同时减少资源需求。实验结果表明，该方法在不同的视觉转换器架构下通过其他剪枝方法实现了竞争性的性能，并在精度保持和功耗节省之间实现了显著的平衡。

    Jul, 2024

  • 基于自适应激活的结构化剪枝

    本文提出了一种自适应基于激活的结构化裁剪方法，以自动高效地生成满足用户要求的小型、准确和硬件高效的模型，它提出了迭代性结构化裁剪和自适应剪枝策略，可在不降低精度的情况下大幅减少参数和 FLOPs

    Jan, 2022

  • 设备上快速适应预训练模型的一次性剪枝

    基于大规模预训练模型，提出了一种适用于低能力设备的可伸缩单次剪枝方法，利用类似任务的剪枝知识从预训练模型中提取一个子网络来适应新任务，实验证明该方法在处理具有不同内存限制的多样化下游任务时，在准确性和效率方面始终优于流行的剪枝基准方法。

    Jul, 2023

  • 何时修剪？一种早期结构修剪策略

    本研究提出了一种早期修剪指标 (EPI)，该指标结合了神经元重要性排名和子网络结构相似性来识别具有稳定结构的重要子网络，使修剪可以在尽可能早的训练阶段进行，并取得了与基于 oracle 的网格搜索相同的效果，同时提供了一个新的精度 - 效率边界，获得了 1.4％的 top-1 分类精度提升并减少了 2.4 倍的 GPU 训练成本。

    Oct, 2021

  • 细粒度结构化稀疏感知图像修复

    本文提出了一种新的修剪方法，用于在不影响恢复精度的情况下减小图像修复网络的尺寸，该方法根据每个层的不同计算复杂度和性能要求确定 N:M 结构稀疏的修剪比，通过大量的实验结果表明，该方法在超分辨率和去模糊任务中的表现优于以前的修剪方法。

    Apr, 2022