- 代理拉格朗日松弛法：一种无需重新训练的深度神经网络剪枝路径
使用代理 Lagrange 松弛的系统性权重剪枝优化方法，可以通过少量的重新训练，实现比现有技术更快的收敛速度和更高的剪枝压缩率，同时维持高精度。
- EMO 联合剪枝与多个子网络：快速高效
本研究提出一种基于进化多目标（EMO）算法的网络修剪算法，结合多子网络来降低空间复杂度和资源消耗，其中提出了分而治之的 EMO 网络修剪框架和基于交叉网络约束的子网络训练方法，并设计了多子网络联合修剪方法来优化整个修剪网络的性能。实验结果表 - 剪枝对 CNN 解释性的影响：少即是多
本文通过剪枝卷积神经网络来减少其复杂性，进而增加其可解释性。通过实验探究了不同的剪枝比率对于卷积神经网络的可解释性的影响，发现较低的压缩率对可解释性有积极影响，而较高的压缩率则会导致负面影响，并挖掘了提高模型性能和可解释性的 “最佳点”。
- 优化深度神经网络迭代剪枝学习率调度
本文提出了一种名为 SILO 的改进型学习率优化策略来优化网络剪枝，通过在剪枝理论上给出理论证明，并在各种网络和流行数据集（例如 ImageNet，CIFAR-10 / 100）上进行广泛实验，获得了 2％-4％的性能提升。
- 基于 Stein 变分推断的高效无分布损失网络剪枝
本文提出了一种名为 DLLP 的新型网络剪枝方法，使用 Stein 变分推理和蒙特卡罗采样来避免对未知分布计算 KL 散度，该方法可以在不损失模型精度的情况下削减模型大小并提高通用性能。
- MMLearningGroup: 基于可学习的权重分组的 FPGA 实时稀疏训练，用于多智能体强化学习
本研究提出了一种名为 LearningGroup 的实时稀疏训练加速系统，采用针对多智能体强化学习的网络剪枝，并结合算法 / 架构协同设计。该系统在 FPGA 加速器上实现全面的芯片内训练和高度优化的数据流 / 数据格式，以最小化稀疏数据产 - EMNLPSparseAdapter：一种提高 Adapter 参数效率的简单方法
插件调整适用于预训练语言模型中；本研究基于稀疏适配器通过带放大系数的参数情况，实现了大的模型容量；通过使用 SNIP 方法和适当的系数，稀疏适配器可以始终优于对应的常规适配器，并且大稀疏设置可以获得进一步的性能提升，甚至可以大幅超过完全微调 - ICML稀疏双峰下降：网络修剪加剧过拟合
我们的研究发现，在通过网络修剪增加模型的稀疏性时，测试性能会出现一个稀疏双下降现象，即测试性能先下降，然后上升并达到顶峰，最后再次下降。我们提出了一个新的学习距离解释，它可以很好地反映稀疏双下降曲线，并比最小值平坦性更好地反映泛化能力，此外 - MM网络边缘联邦学习中通讯与学习的权衡
该研究旨在解决通信与学习之间的折衷问题。通过在有限资源的本地用户中应用网络修剪，通过推导非凸损失函数的收敛速度来量化网络修剪和数据包错误对学习性能的影响，提出了修剪控制和带宽分配的封闭式解决方案，以最小化 FL 延迟和 FL 性能的加权和。 - 深度卷积神经网络的辅助门控结构自动分块剪枝
本文介绍一种基于辅助门控机制的结构化网络剪枝方法，通过给主干网中的块分配重要性标记，并提出了一种块级剪枝的投票策略来解决移动设备上使用卷积神经网络时遇到的成本问题。通过知识蒸馏的三阶段训练计划，提高了模型性能，实现了更好的压缩率。实验证明该 - SIGIR基于不确定性正则化的迭代网络剪枝方法用于终身情感分类
该研究提出了一种基于网络剪枝和权重正则化的不确定性正则化迭代网络剪枝方法，能够使 BERT 模型在处理多个领域不断到达的数据时避免灾难性遗忘和干扰，从而在终生情感分类方面具有显著优势。
- 野外环境下盲目图像质量模型的故障排除
该研究使用群体最大差异竞争（gMAD）来改进盲目图像质量评估（BIQA）模型，并借助完全参考度量方法。该方法通过网络修剪构造一组 “自我竞争者”，可有效识别多样化的失败，并通过精细调整及人类评分的 gMAD 集来优化模型，提高其通用性，从而 - ICLR有意义的网络剪枝：重新训练变体的案例研究
本文分析不同的修剪机制对神经网络修剪重训练的影响
- 预训练模型中存在的彩票大奖
本文提出了一种搜索被称为 "lottery jackpots" 的高性能、稀疏的子网络的方法，通过使用基于幅值的裁剪技术初始化稀疏掩码并使用短限制方法减少训练损失，从而提高搜索效率和准确性。
- CVPR卷积神经网络结构冗余减少的剪枝
本文提出了一种卷积神经网络的结构冗余剪枝方法，通过在最具有结构冗余性的层剪枝，可以相对于之前研究集中在去除不重要滤波器的方法，更有效地压缩网络架构，并在不同的基准模型和数据集上获得了显著优越的表现
- 神经元合并：补偿剪枝的神经元
本研究提出了一种新的神经元合并方法，通过分解原始权重矩阵，使用一个被称为缩放矩阵的指导矩阵来引导神经元的组合，以补偿由网络剪枝所导致的信息损失，并在各种模型结构和数据集上证实了本方法的有效性。
- 深度神经网络压缩调研：挑战，概述和解决方案
该论文综述深度神经网络在物联网应用中的压缩技术，并将现有方法划分为五个类别，包括网络修剪、稀疏表现、位精度、知识蒸馏和杂项，并探讨每个类别的挑战和未来方向。
- ICLR网络剪枝分析的梯度流框架
该篇研究通过梯度流的方式，研究了深度神经网络早期剪枝的影响，通过多组实验验证了几种不同的影响度量标准，从而在神经网络剪枝的早期阶段提出了一种更加有效的剪枝方法。
- 剪枝方法的合理性检查：随机选票或中大奖
本文提出了一种利用随机比率和初始值提取的网络子结构的方法，称为随机票选，并通过实验发现它的性能与利用训练数据提取的子网络的性能相似或更优，并进一步介绍了一种使用随机票选和一个现有子结构提取方法的混合票选方法，被称为混合票选。
- 通过划分稀疏矩阵块提高无硬件支持的稀疏 DNN 模型加速
本文提出了一种算法 - 软件共同设计的剪枝方法，采用 “分块友好” 的稀疏模式来实现现有的密集结构上的延迟加速，旨在解决原先稀疏模型上由于随机分布权重导致计算不规则的问题，在 GPU 笔记本上成功地实现了 1.95 倍速度提升的优化效果。