Jul, 2024
视觉模型的同构剪枝
Isomorphic Pruning for Vision Models
TL;DR通过去除冗余子结构，结构剪枝减少了深度神经网络的计算开销。鉴于先进的视觉模型具有自注意力、深度卷积或残差连接等新机制和新架构，评估不同子结构的相对重要性仍然是一个重大挑战。为了克服这个问题，我们提出了同构剪枝，这是一种简单的方法，在视觉变换器和卷积神经网络等多种网络架构上都展现了有效性，并在不同模型大小上提供了竞争性能。同构剪枝源自一个观察，即在预定义的重要性标准下评估时，异构子结构的重要性分布存在显著差异，而同构结构呈现类似的重要性模式。这启发我们对不同类型的子结构进行独立的排名和比较，以实现更可靠的剪枝。我们在ImageNet-1K上的经验证明，同构剪枝超过了专门为变换器或卷积神经网络设计的几种剪枝基线。例如，我们通过剪枝现成的DeiT-Base模型，将DeiT-Tiny的准确度从74.52%提高到77.50%。对于ConvNext-Tiny，我们在降低参数数量和内存使用的同时，将性能从82.06%提高到82.18%。代码可在https://github.com/VainF/Isomorphic-Pruning上找到。