本文介绍了一种以结构削减神经网络参数为主要内容的新方法，可通过估算神经元对最终损失的贡献并逐步去除小分值的神经元来减少计算、能量和内存传输成本。对于在 ImageNet 上训练的现代网络，我们测量了我们的方法计算的贡献与真实重要性的可靠估计之间的高度（>93％）相关性。使用所提出的方法进行修剪可实现在准确性，FLOPs 和参数减少方面的超越最新技术的改进。在 ResNet-101 上，我们通过删除 30％的参数实现了 40％的 FLOPs 减少，在 ImageNet 的前 1 个准确度方面损失了 0.02％。

Jun, 2019

应用机器学习进展于医疗可以改善患者结果，但是模型操作复杂性、遗留硬件和多模态千兆像素图像等问题限制了实时、设备内推理的部署。我们考虑滤波剪枝作为解决方案，在心脏病学和眼科学中探索分割模型。我们的初步结果显示最高可达 1148 倍的压缩率，质量损失最小，强调使用现成模型时应考虑任务复杂性和架构细节。在高压缩率下，滤波剪枝模型在 CPU 上比 GPU 基准具有更快的推理速度。我们还证明了这些模型的鲁棒性和泛化特性超过了基准和权重剪枝对照组。我们揭示了引人深思的问题，迈出了实现经济有效的疾病诊断、监测和预防解决方案的一步。

Sep, 2023

本文采用基于采样的方法对超参数化网络中的冗余卷积神经网络滤波器进行识别和剔除，方法可同时进行数据术语构造采样分布并保证压缩后的网络在性能和大小方面有证明保证，适用于不同的网络体系结构和数据集。

Nov, 2019

本研究提出了一种学习算法，使用数据驱动的方式训练剪枝代理，利用奖励函数去除不必要的卷积神经网络滤波器，从而简化并加速 CNN，并且在维持性能的情况下去除重复权重，减少计算资源消耗，该方法提供了一种易于控制网络性能和规模之间平衡的方法，并通过对多个流行的 CNN 对视觉识别和语义分割任务进行广泛的剪枝实验进行了验证。

Jan, 2018

本文提出了 LayerPrune 框架，相较于传统基于 filter 的剪枝方法，LayerPrune 基于不同的剪枝指标实现了更高的延迟降低，并使用相同的 filter 重要性判定剪枝最不重要的层，较好地平衡了准确率和删除率。

Jul, 2020

这篇论文提出了一种新的滤波器剪枝方法，它能够有效地减少深度神经网络所需要的计算资源，同时通过与其他方法的比较和在医学数据集和智能手机应用程序上尝试验证，表明本文提出的方法表现得更好。

Apr, 2023

使用结构化稀疏技术、粒子滤波方法和固定点优化技术对深度神经网络进行了精简，优化后可在嵌入式计算机和硬件系统上提供更加高效和优化的实现。

Dec, 2015

通过深度网络剪枝等方法，对基于小型 SqueezeNet、流行的 MobileNetv2 和 ResNet50 架构的网络进行压缩，以实现移动设备上的可靠且实时的人脸识别。

May, 2024

本文提出一种自动修剪方法来减少神经网络中的 FLOPs，该方法通过引入可训练瓶颈来学习哪些神经元需要被保留以保持模型准确性，实验证明，该方法可以在保持模型准确性的前提下显著减少模型的 FLOPs。

Nov, 2021

本文提出一种基于梯度流的模型修剪方法，综合考虑 BN 和 ReLU 层后的卷积操作对整个特征映射的影响，采用 BN 层中的一阶泰勒多项式标识神经元的重要程度，该方法在图像分类和去噪任务上取得了良好的性能表现。

Oct, 2021