本研究提出了一种集成知识蒸馏方法，可以从不同的教师网络中提取知识，并将其蒸馏成一个紧凑的学生模型，以获得更好的分类准确性和模型泛化性能。实验结果表明，这种集成方法可以显著提高模型的分类准确性和泛化性能，特别是在数据量有限的情况下。

Sep, 2019

本文提出了一种名为 EagleEye 的剪枝算法，利用简单且高效的自适应批量归一化评估方法来加速识别潜在精度最高的剪枝候选项，从而更好地裁剪神经网络。在 MobileNet V1 和 ResNet-50 等模型中进行实验表明，EagleEye 优于所有已有的算法，FLOPs 剪枝达到 50% 时，对于 MobileNet V1 模型，EagleEye 实现了 70.9% 的 Top-1 ImageNet 模型分类精度。

Jul, 2020

介绍了基于 Kronecker - 分解的特征基 (KFE) 的网络重参数化方法，并应用于基于 Hessian 的结构化剪枝方法，实现在 KFE 上进行不同权重近似独立、精确修剪和快速计算，实验证明了该方法的有效性，特别是在挑战数据集和网络上，迭代修剪版本可以在几乎没有准确度损失的情况下使模型大小减少 10 倍，FLOPs 减少 8 倍。

May, 2019

本研究提出了一种先进的神经网络剪枝技术，通过在计算经验 Fisher 信息矩阵（FIM）过程中巧妙处理嘈杂的梯度。我们介绍了一种基于几何属性的熵 Wasserstein 回归（EWR）模型，通过采用数据点之间的邻域插值实现噪声缓解。Wasserstein 距离的独特优势在于平衡噪声降低和协方差信息保留之间的关系。通过在各种网络上进行广泛实验证明，所提出的方法在网络剪枝算法中具有与先进方法相当的性能。当网络规模或目标稀疏度较大时，我们提出的方法在存在嘈杂梯度的情况下效果更为显著，可能来自嘈杂数据、模拟存储器或对抗攻击。值得注意的是，我们的方法在仅剩不到四分之一的网络参数的情况下，使 MobileNetV1 的准确度提高了 6%，测试损失提高了 8%。

Oct, 2023

本文提出一种名为 “Prune and Tune” 的方法，通过剪枝单个神经网络的参数创建多个包含不同拓扑结构的成员作为集成，最终使得训练集成成员的代价明显降低同时准确率不降反升，主要应用于 CIFAR-10 和 CIFAR-100 数据集。

Feb, 2022

提出了一种新的神经网络卷积核剪枝方法，通过 Taylor 扩展来近似剪枝参数变化引起的代价函数的改变，并结合反向传播的微调来保持剪枝网络的良好泛化性能，该方法在细粒度分类任务中表现出优异的性能。

Nov, 2016

基于核密度估计 (KDE) 的 KEN 是一种简单、通用且非结构化的修剪算法，旨在通过有选择性地保留最重要的参数并恢复其他参数到其预训练状态来构建优化的 Transformer 模型，这种方法在保持模型性能的同时只存储优化的子网络，从而实现显著的内存节省。在七个 Transformer 模型上的广泛评估表明，KEN 在最低参数减少 25% 的情况下实现了与原始模型相等或更好的性能。与其他修剪和 PEFT 算法的深入比较证实了 KEN 的有效性。此外，我们还介绍了 KEN_viz，这是一种可解释的工具，可以可视化 KEN 选择的优化模型构成和子网络。

Feb, 2024

本文提出了一种环保的神经结构搜索方法，使用梯度代替传统的下游训练来评估结构，探索了梯度核心假设并提出了基于该假设的 KNAS 方法，在图像和文本分类任务中实现了与传统方法相当的结果，但搜索速度更快且具有环保意识。

Nov, 2021

本研究提出网络剪枝空间的概念，探讨子网络结构在不同剪枝范围内的最小精度损失并证明了在某个剪枝范围内存在最佳的 FLOPs-to-parameter-bucket 比率，通过实验结果表明，我们找到的子网络在合理的 FLOPs 下优于现有最先进的剪枝方法。

Apr, 2023

我们介绍了一种新颖而简单的神经网络剪枝框架，通过引入 Gumbel-Softmax 技术，在端到端的过程中使用随机梯度下降同时优化网络的权重和拓扑结构，实现了网络的卓越压缩能力，保持了在 MNIST 数据集上的高准确性，仅使用了原始网络参数的 0.15％。此外，我们的框架提升了神经网络的可解释性，不仅能够轻松从剪枝网络中提取特征重要性，而且能够可视化特征对称性和信息传递路径，学习策略通过深度学习得到，但却令人惊讶地直观且可理解，专注于选择重要的代表性特征并利用数据模式实现极度稀疏的剪枝。我们相信我们的方法为深度学习剪枝和可解释的机器学习系统的创建开辟了有前途的新途径。

Nov, 2023