训练前的单次结构化剪枝

Jul, 2020

Single Shot Structured Pruning Before Training

Joost van Amersfoort, Milad Alizadeh, Sebastian Farquhar, Nicholas Lane, Yarin Gal

TL;DR使用结构化剪枝在训练之前使速度提高 2 倍，在推理中提高 3 倍的方法。通过删除整个通道和隐藏单元的方法来加快训练和推理，使用基于感受度每 FLOP 的计算感知得分机制来实现裁剪。

Abstract

We introduce a method to speed up training by 2x and inference by 3x in deep neural networks using structured pruning applied before training. Unlike previous works on pruning before training which prune individual weights, our work develops a methodology to remove entire channels and

structured pruning deep neural networks training speedup inference speedup compute-aware scoring

发现论文，激发创造

深度卷积神经网络的结构化剪枝

使用结构化稀疏技术、粒子滤波方法和固定点优化技术对深度神经网络进行了精简，优化后可在嵌入式计算机和硬件系统上提供更加高效和优化的实现。

Dec, 2015

何时修剪？一种早期结构修剪策略

本研究提出了一种早期修剪指标 (EPI)，该指标结合了神经元重要性排名和子网络结构相似性来识别具有稳定结构的重要子网络，使修剪可以在尽可能早的训练阶段进行，并取得了与基于 oracle 的网格搜索相同的效果，同时提供了一个新的精度 - 效率边界，获得了 1.4％的 top-1 分类精度提升并减少了 2.4 倍的 GPU 训练成本。

Oct, 2021

用于压缩卷积神经网络的动态结构剪枝

本文提出了一种名为动态结构修剪的结构修剪方法，基于组梯度学习实现了细粒度修剪，并在训练深度神经网络时优化修剪粒度，实验结果表明在 ImageNet 数据集上，动态结构修剪对 ResNet50 模型进行修剪可将 FLOPs 降低 71.85% 且不影响模型准确率，并在 GPU 加速方面优于通道修剪。

Mar, 2023

通过次模优化实现数据有效的结构化剪枝

文章提出了一个基于次模优化的可靠、高效的数据压缩方法，能够在模型输出稳定性和极小模型损失之间取得平衡，适用于数据稀缺情形下的神经网络压缩优化。

Mar, 2022

FPGA 资源感知的实时神经网络结构剪枝

通过硬件为中心的修剪公式，我们在神经网络中减少了计算和存储的使用，并在实时推理中取得了显著的资源利用率改进。

Aug, 2023

深度卷积神经网络的辅助门控结构自动分块剪枝

本文介绍一种基于辅助门控机制的结构化网络剪枝方法，通过给主干网中的块分配重要性标记，并提出了一种块级剪枝的投票策略来解决移动设备上使用卷积神经网络时遇到的成本问题。通过知识蒸馏的三阶段训练计划，提高了模型性能，实现了更好的压缩率。实验证明该方法在分类任务中可以取得最先进的压缩性能。此外，通过提供预训练模型，我们的方法可以与其他剪枝方法协同集成，从而实现比未剪枝模型更优异的性能，并减少了超过 93％的浮点运算。

May, 2022

PruneTrain: 动态稀疏模型重组快速神经网络训练

我们提出了 PruneTrain，这是一种成本高效的机制，可逐步减少训练期间的计算成本，通过使用结构化组套骨骼正则化方法和其他重新配置技术，可以在 GPU 加速器上高效处理缩小了的卷积神经网络模型，从而实现减少计算成本 40％和训练时间 39％的效果。

Jan, 2019

重新思考网络剪枝的价值

本研究发现，在针对低资源设置中减少深度模型推理成本的网络修剪过程中，训练大模型通常不是获得高效终端模型的必要条件，学到的 “重要” 权重通常对小模型没有用，修剪的架构本身比继承的 “重要” 权重更重要，并且此方法可作为架构搜索范式。本文还比较了 “Lottery Ticket Hypothesis”，发现在最佳学习率下，与随机初始化相比，其 “获胜券” 初始化并未带来提高。

Oct, 2018

多任务深度神经网络的结构剪枝

本文研究了定结构剪枝在多任务深度神经网络模型中的有效性。通过使用基于现有单任务筛选剪枝标准和基于多任务学习筛选剪枝标准，采用迭代剪枝策略进行剪枝，本文表明在参数数目相似的情况下，与快速单任务 DNN 相比，DNN 多任务可以通过精心的超参数调整实现相似的性能，迭代权重剪枝可能不是实现良好性能剪裁模型的最好方式。

Apr, 2023

基于张量处理器的卷积网络结构模型剪枝

本研究使用 VGG-16 模型作为示例，测量了各种结构模型修剪方法和数据集（CIFAR-10 和 ImageNet）在 Tensor Processing Units（TPUs）上的准确性和效率之间的权衡，使用 TensorFlow2 开发了一个结构模型修剪库以在 TPUs 上显着提高模型内存使用和速度而不失准确性，这尤其适用于较小的数据集（如 CIFAR-10）。

Jul, 2021