卷积神经网络 (CNNs) 被报道为过参数化。本文提出了一种基于数学思想的逐层数据驱动剪枝方法，旨在通过最小化网络熵来找到稀疏子网络，以解决网络架构搜索的复杂性问题。该方法在多个基准测试中得到验证，并在中稀疏度达到 55%-84% 时准确度损失为 0.1%-0.5%（LeNet 模型在 MNIST 数据集上），在稀疏度达到 73%-89% 时准确度损失为 0.1%-0.5%（VGG-16 和 ResNet18 模型在 CIFAR-10 数据集上）。

Apr, 2024

本研究提出了一种学习算法，使用数据驱动的方式训练剪枝代理，利用奖励函数去除不必要的卷积神经网络滤波器，从而简化并加速 CNN，并且在维持性能的情况下去除重复权重，减少计算资源消耗，该方法提供了一种易于控制网络性能和规模之间平衡的方法，并通过对多个流行的 CNN 对视觉识别和语义分割任务进行广泛的剪枝实验进行了验证。

Jan, 2018

本文提出了一种新的结构剪枝方法，通过强化学习代理来联合学习卷积神经网络模型的权重和结构剪枝，其核心元素是一个强化学习代理，通过动态奖励函数来确定 CNN 模型各层的剪枝比例，实验证明该方法在 CIFAR-10 和 ImageNet 数据集上对 ResNets 和 MobileNets 模型具有有效性。

Mar, 2024

本文提出了一种卷积神经网络的结构冗余剪枝方法，通过在最具有结构冗余性的层剪枝，可以相对于之前研究集中在去除不重要滤波器的方法，更有效地压缩网络架构，并在不同的基准模型和数据集上获得了显著优越的表现

Apr, 2021

本研究提出了一种基于熵的滤波器重要性评估方法，使用该方法来加速和压缩现有的卷积神经网络模型，并通过对过滤器进行快速修剪和精细调整来优化模型的计算性能和泛化能力，以在 ILSVRC-12 基准测试中取得了良好的性能表现，能够在不牺牲模型精度情况下将模型压缩大约 16.64 倍。

Jun, 2017

在强化学习中应用稀疏性和修剪方法对神经网络推断进行优化，从而达到能耗和延迟效率的提升，本研究针对不同强化学习算法及环境系统地进行了探索，并取得神经网络规模最多减小 400 倍的优化效果。

May, 2024

本文提出了 PuRL，一种基于深度强化学习（RL）的神经网络剪枝算法，通过在每个剪枝步骤上提供奖励，可以在短时间内达到与现有最先进方法相当的稀疏性和准确性。 PuRL 在 ResNet-50 模型上实现了超过 80％ 的稀疏性，并在 ImageNet 数据集上保持了 75.37％ 的 Top-1 精度，并且可以很容易地适应于各种体系结构。

Jul, 2020

本研究探究了神经网络规模剪枝作为一种减少运算量形式的同时能起到正则化效果的方法，其可以提高 CNN 网络的泛化性和对抗性。研究结果表明规模剪枝能够有效地提高 CNN 网络对抗性，因此具有潜在的防御机制。

Aug, 2021

使用结构化剪枝方法，在不降低推理准确度的情况下，通过算法的网络增强、剪枝、子网络合并和移除，实现了高达 93% 的稀疏度与 95% FLOPs 的减少，同时在分类和分割问题上超过了先进水平，并且避免了在 GPU 上进行计算昂贵的稀疏矩阵运算。

Aug, 2023

本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法，与传统的剪枝方法不同，本方法采用渐进式连续松弛和网络优化，然后采样稀疏子网络，使得训练出来的深层网络更加高效。实验结果证明，采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。

Jul, 2020