深度神经网络剪枝是减少模型大小、提高推理延迟和降低深度神经网络加速器功耗的一种关键策略。我们介绍了一种新型的、独立且可微的剪枝方法 (SMART pruner)，它通过利用独立的、可学习的概率掩码来排名权重重要性，采用可微分的前 k 个操作符实现目标稀疏性，并利用动态温度参数技巧逃离非稀疏局部最小值。实验证明，SMART pruner 在各种任务、模型和剪枝类型上始终表现出优于现有剪枝方法的优越性。此外，在 N:M 剪枝情况下，我们还针对基于 Transformer 的模型进行了测试，SMART pruner 也取得了最先进的结果，展示了它在各种神经网络架构和剪枝类型上的适应性和鲁棒性。

Mar, 2024

本文介绍一种基于辅助门控机制的结构化网络剪枝方法，通过给主干网中的块分配重要性标记，并提出了一种块级剪枝的投票策略来解决移动设备上使用卷积神经网络时遇到的成本问题。通过知识蒸馏的三阶段训练计划，提高了模型性能，实现了更好的压缩率。实验证明该方法在分类任务中可以取得最先进的压缩性能。此外，通过提供预训练模型，我们的方法可以与其他剪枝方法协同集成，从而实现比未剪枝模型更优异的性能，并减少了超过 93％的浮点运算。

May, 2022

本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法，与传统的剪枝方法不同，本方法采用渐进式连续松弛和网络优化，然后采样稀疏子网络，使得训练出来的深层网络更加高效。实验结果证明，采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。

Jul, 2020

本文介绍了一种通过超级网络进行自动网络剪枝的可微分剪枝方法。使用该方法进行图像分类、单幅图像超分辨率和降噪等各种网络的实验结果证实了该方法的有效性。

Mar, 2020

我们提出了一种在神经网络早期训练阶段识别和消除不相关层的算法。与权重或滤波器层剪枝相比，层剪枝能够减少神经网络中更难并行计算的顺序计算。我们采用了一种结构，在非线性网络部分周围使用剩余连接，使非线性部分进行剪枝后仍然能够在网络中传递信息。我们的方法基于变分推断原理，在神经网络权重上使用高斯规模混合先验，从而在训练和推理过程中实现大幅成本节省。该算法在 MNIST、CIFAR-10 和 ImageNet 数据集以及常见的 LeNet、VGG16 和 ResNet 架构上进行了评估，模拟实验结果表明，由于并行训练和剪枝，我们的方法在层剪枝方面以较低的计算成本实现了最先进的性能。

Jun, 2024

使用结构化稀疏技术、粒子滤波方法和固定点优化技术对深度神经网络进行了精简，优化后可在嵌入式计算机和硬件系统上提供更加高效和优化的实现。

Dec, 2015

本文通过结构剪枝方法在大规模视觉和语言模型中降低推理成本，提出了一种基于组合优化的框架，利用层间重构目标和低秩更新的本地组合优化算法，显著改善了先前方法在视觉模型和语言模型上的性能。

Mar, 2024

本文提出一种名为 “结构化概率剪枝” 的卷积神经网络加速新方法，采用概率剪枝方式剪枝卷积层权重，加速 AlexNet 和 VGG-16 在 ImageNet 分类中 4 倍和 2 倍的速度，并且只有 0.3% 和 0.8% 的前 5 位准确率损失。此外，SPP 可直接应用于加速 ResNet 等多分支 CNN 网络，且在 ImageNet 上只有 0.8% 的准确率损失。

Sep, 2017

在嵌入式环境中，卷积神经网络因其过多的权重存储和算术运算而未能得到广泛应用，为解决这一问题，本文提出了一种新的修剪方案，以反映加速器架构，通过此方案，性能得到了大幅提升，并成功应用于 AlexNet，VGG16，ResNet，MobileNet 等多种网络模型。

Apr, 2018

使用标准的计算机视觉和自然语言处理稀疏基准测试，探讨高稀疏性对模型训练的影响，提供了一种解决有关稀疏训练困难的新方法，并在高稀疏性环境下实现了在视觉模型和语言模型上最先进的结果。

Aug, 2023