提出了一种新的神经网络卷积核剪枝方法，通过Taylor扩展来近似剪枝参数变化引起的代价函数的改变，并结合反向传播的微调来保持剪枝网络的良好泛化性能，该方法在细粒度分类任务中表现出优异的性能。

Nov, 2016

本文研究深度卷积神经网络滤波器修剪方法，通过检验实验证明，我们使用随机滤波器修剪策略能够获得接近最先进修剪方法的性能，同时在图像分类和目标检测中均能实现显著的加速。

Jan, 2018

本研究发现，在针对低资源设置中减少深度模型推理成本的网络修剪过程中，训练大模型通常不是获得高效终端模型的必要条件，学到的“重要”权重通常对小模型没有用，修剪的架构本身比继承的“重要”权重更重要，并且此方法可作为架构搜索范式。本文还比较了“Lottery Ticket Hypothesis”，发现在最佳学习率下，与随机初始化相比，其“获胜券”初始化并未带来提高。

Oct, 2018

本文提出了一种新颖的网络修剪流程，允许从随机初始化的权重开始修剪，加速了传统剪枝方法的预训练负担，同时在相同的计算预算下达到了类似甚至更高的准确性。

Sep, 2019

该研究提出了一种减小深度神经网络(DNNs)体积的方法——使用低位表达来量化预训练模型的权重和激活数据，并提出了基于剪枝的新方法PfQ来解决深度中间层权重动态范围宽导致的量化误差和准确度下降的问题。

Nov, 2020

通过神经架构搜索技术，在两个阶段进行修剪（通用和特定任务），以实现图像修复中多种图像效果的高效生成，并大幅减少FLOPs和延迟，从而大大提高任务效率。

Dec, 2020

本文提出了一种数据集剪枝方法，利用预测不确定性和训练动态来生成一个信息量丰富的子集，从而用人口可承受的计算成本代替大规模数据集进行深度模型训练，实验结果表明该方法表现优于现有技术，对ImageNet-1K和ImageNet-21K数据集均获得了75%的无损压缩率。

Jun, 2023

本文提出了一种针对深度神经网络剪枝的数据无关的微调方法，使用合成图像进行训练，并通过中间监督来模拟未剪枝网络的输出特征图。实验结果表明，该方法相对于未剪枝模型具有具有很好的性能。

Jun, 2023

我们提出了一种新颖的层自适应权重剪枝方法，通过优化输出失真最小化并同时遵守目标剪枝比例约束，实现了对深度神经网络 (DNNs) 的优化。我们发现和利用了多个层的权重剪枝导致的输出失真具有非常重要的可加性特性，并基于此特性将剪枝问题建模为一个组合优化问题，并通过动态规划高效解决。我们用子问题分解的方式使问题具有线性时间复杂度，从而使我们的优化算法快速且适用于 CPU 运行。在 ImageNet 和 CIFAR-10 数据集上的广泛实验证明了我们方法的优越性。在 CIFAR-10 上，我们的方法在 ResNet-32、VGG-16 和 DenseNet-121 的 top-1 准确率方面分别超过了其他方法 1.0%、0.5% 和 0.7%。在 ImageNet 上，我们的方法分别比其他方法提高了 VGG-16 和 ResNet-50 的 top-1 准确率高达 4.7% 和 4.6%。这些结果突出了我们的方法通过层自适应权重剪枝来提升 DNN 性能的效果和实用性。代码将在此 https URL 上提供。

Aug, 2023

我们提出了一种在神经网络早期训练阶段识别和消除不相关层的算法。与权重或滤波器层剪枝相比，层剪枝能够减少神经网络中更难并行计算的顺序计算。我们采用了一种结构，在非线性网络部分周围使用剩余连接，使非线性部分进行剪枝后仍然能够在网络中传递信息。我们的方法基于变分推断原理，在神经网络权重上使用高斯规模混合先验，从而在训练和推理过程中实现大幅成本节省。该算法在MNIST、CIFAR-10和ImageNet数据集以及常见的LeNet、VGG16和ResNet架构上进行了评估，模拟实验结果表明，由于并行训练和剪枝，我们的方法在层剪枝方面以较低的计算成本实现了最先进的性能。

Jun, 2024