本文提出了一种名为结构化稀疏正则化（SSR）的滤波器剪枝方案，它通过两种不同的正则化方法来适应性地裁剪卷积神经网络（CNN）的滤波器，从而提高计算速度和降低内存开销，并通过实验验证了其优异性能。

Jan, 2019

本研究提出了一个针对视觉transformer的裁剪方法，以不显著影响准确度的方式减少参数和FLOPs比例，以适应移动设备的趋势。

Apr, 2021

本文旨在从减小训练存储开销和推理复杂度的角度，提出一种先将Vision transformers稀疏化，然后再训练的方法，从而实现一定的加速效果并保持较高的精度。

Jun, 2021

该论文提出了一种名为UP-ViTs的统一结构修剪框架，可在保持模型一致性的同时，压缩Vision Transformer等模型的体积并提高模型的准确性。实验证明，UP-ViTs在Object Detection等任务中取得了不俗的性能，并在ImageNet上超越了传统的ViTs模型。

Nov, 2021

本文提出了一种名为MaskSparsity的新型网络剪枝方法，使用有意义的稀疏正则化方法来选择特定滤波器，以获得更好的模型压缩效果，并在不损失模型准确性的情况下，在Deep Learning领域实现63.03%的FLOP降低和60.34%的参数减少。

Jan, 2022

本研究探讨了如何在现代神经网络中使用稀疏训练，提出了初始化时的随机剪枝能够有效地提高神经网络的稀疏训练性能，结果表明此方法可以匹配对应的密集网络，达到了预期效果，并且进行适当的层级稀疏比率的选择，可以进一步提高性能。

Feb, 2022

提出优化Transformer模型(ViT)部署过程中训练代价高的问题的快速无需训练压缩框架，其中包括初层的稠密特征提取器、压缩率更高的模型和利用空间关系的局部-全局令牌合并方法，在多个模型上实现了至多2倍的FLOPS减少和1.8倍的推理吞吐量提升，训练时间比现有方法节省两个数量级。

Mar, 2023

采用新型Token Pruning & Squeezing模块（TPS）可以更高效地压缩视觉转换器，提高模型的计算速度和图像分类精度。

Apr, 2023

使用标准的计算机视觉和自然语言处理稀疏基准测试，探讨高稀疏性对模型训练的影响，提供了一种解决有关稀疏训练困难的新方法，并在高稀疏性环境下实现了在视觉模型和语言模型上最先进的结果。

Aug, 2023

通过去除冗余子结构，结构剪枝减少了深度神经网络的计算开销。鉴于先进的视觉模型具有自注意力、深度卷积或残差连接等新机制和新架构，评估不同子结构的相对重要性仍然是一个重大挑战。为了克服这个问题，我们提出了同构剪枝，这是一种简单的方法，在视觉变换器和卷积神经网络等多种网络架构上都展现了有效性，并在不同模型大小上提供了竞争性能。同构剪枝源自一个观察，即在预定义的重要性标准下评估时，异构子结构的重要性分布存在显著差异，而同构结构呈现类似的重要性模式。这启发我们对不同类型的子结构进行独立的排名和比较，以实现更可靠的剪枝。我们在ImageNet-1K上的经验证明，同构剪枝超过了专门为变换器或卷积神经网络设计的几种剪枝基线。例如，我们通过剪枝现成的DeiT-Base模型，将DeiT-Tiny的准确度从74.52%提高到77.50%。对于ConvNext-Tiny，我们在降低参数数量和内存使用的同时，将性能从82.06%提高到82.18%。代码可在https://github.com/VainF/Isomorphic-Pruning上找到。

Jul, 2024