本文提出了一种基于元学习的通道自动剪枝方法。首先使用简单的随机结构采样方法训练一个 PruningNet 元网络，然后应用演化搜索方法寻找良好表现的剪枝网络，其效率高且无需在线微调。实验结果表明，相比现有的剪枝方法，该方法在 MobileNet V1/V2 和 ResNet 等模型上有着更好的性能表现。

Mar, 2019

我们介绍了一种新颖而简单的神经网络剪枝框架，通过引入 Gumbel-Softmax 技术，在端到端的过程中使用随机梯度下降同时优化网络的权重和拓扑结构，实现了网络的卓越压缩能力，保持了在 MNIST 数据集上的高准确性，仅使用了原始网络参数的 0.15％。此外，我们的框架提升了神经网络的可解释性，不仅能够轻松从剪枝网络中提取特征重要性，而且能够可视化特征对称性和信息传递路径，学习策略通过深度学习得到，但却令人惊讶地直观且可理解，专注于选择重要的代表性特征并利用数据模式实现极度稀疏的剪枝。我们相信我们的方法为深度学习剪枝和可解释的机器学习系统的创建开辟了有前途的新途径。

Nov, 2023

本文提出一种新的精确剪枝技术，利用有效的最优传输方案，使得算法自动调整探索 - 开发行为，从而在 3 个不同的数据集、5 个不同的模型、各种剪枝比例和两种稀疏度预算和剪枝颗粒度等方面均取得了先进的性能。

Jul, 2023

本研究提出了一种基于背包问题和内部知识蒸馏的神经网络剪枝方法，该方法能够在优化被剪枝网络的最终准确性的同时，从过度参数化的母网络的内部层中提取知识，并使用块分组方法来处理复杂的网络结构。该方法在 ImageNet、CIFAR-10 和 CIFAR-100 数据集上都取得了 state-of-the-art 的准确率表现，并且能够产生与 EfficientNet-B0、MobileNetV3 相同 FLOPs 但更高准确率的网络结构。

Feb, 2020

我们提出了一种在神经网络早期训练阶段识别和消除不相关层的算法。与权重或滤波器层剪枝相比，层剪枝能够减少神经网络中更难并行计算的顺序计算。我们采用了一种结构，在非线性网络部分周围使用剩余连接，使非线性部分进行剪枝后仍然能够在网络中传递信息。我们的方法基于变分推断原理，在神经网络权重上使用高斯规模混合先验，从而在训练和推理过程中实现大幅成本节省。该算法在 MNIST、CIFAR-10 和 ImageNet 数据集以及常见的 LeNet、VGG16 和 ResNet 架构上进行了评估，模拟实验结果表明，由于并行训练和剪枝，我们的方法在层剪枝方面以较低的计算成本实现了最先进的性能。

Jun, 2024

本文提出了一种新的网络剪枝方法，通过神经结构搜索直接搜索灵活的通道和层大小， 最小化剪枝网络的失误实现通道和层大小的学习，提高了传统的网络剪枝方法， 并有效地区别了不同搜索和知识转移方法的效果。

May, 2019

本论文提出了一种新的范式，通过将所有实例的流形信息嵌入到裁剪网络的空间中 (称为 ManiDP)，以动态地去除冗余的过滤器以最大化挖掘给定网络架构中的冗余。在几个基准测试中验证了所提出的方法的有效性，在精度和计算成本方面显示出与现有技术方法相比更好的性能可将 ResNet-34 的 FLOP 降低 55.3％，且仅仅减少 0.57％的 Top-1 精度，ImageNet。

Mar, 2021

卷积神经网络 (CNNs) 被报道为过参数化。本文提出了一种基于数学思想的逐层数据驱动剪枝方法，旨在通过最小化网络熵来找到稀疏子网络，以解决网络架构搜索的复杂性问题。该方法在多个基准测试中得到验证，并在中稀疏度达到 55%-84% 时准确度损失为 0.1%-0.5%（LeNet 模型在 MNIST 数据集上），在稀疏度达到 73%-89% 时准确度损失为 0.1%-0.5%（VGG-16 和 ResNet18 模型在 CIFAR-10 数据集上）。

Apr, 2024

本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法，与传统的剪枝方法不同，本方法采用渐进式连续松弛和网络优化，然后采样稀疏子网络，使得训练出来的深层网络更加高效。实验结果证明，采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。

Jul, 2020

本研究提出网络剪枝空间的概念，探讨子网络结构在不同剪枝范围内的最小精度损失并证明了在某个剪枝范围内存在最佳的 FLOPs-to-parameter-bucket 比率，通过实验结果表明，我们找到的子网络在合理的 FLOPs 下优于现有最先进的剪枝方法。

Apr, 2023