- 路径度量、剪枝和泛化
证明了一种新的与参数路径度量相关的函数距离上界，在网络修剪和量化等方面具有广泛适用性，同时提供了新的理论推广界限和与缩放无关的修剪的有前景的概念验证。
- FALCON: 面向神经网络剪枝的 FLOP 感知组合优化
神经网络的计算需求逐渐增加，同时对资源有限的设备提出了部署挑战。网络剪枝是在保持性能的同时减小模型大小和计算成本的解决方案。本文提出了 FALCON，一种基于组合优化的网络剪枝框架，同时考虑了模型准确性、FLOPs 和稀疏性约束。我们的算法 - AAAIEPSD: 早期剪枝与自蒸馏用于高效模型压缩
提出了一种名为早期修剪与自我蒸馏（EPSD）的框架，它在给定自我蒸馏任务的早期修剪中识别和保留可蒸馏的权重，通过两步骤的过程高效地将早期修剪和自我蒸馏相结合，以保持修剪网络的可训练性进行模型压缩。
- 卷积神经网络的块剪枝提高效率
该论文介绍了一种新的网络剪枝方法，针对边缘计算环境中的深度神经网络中的块剪枝。研究方法采用直接的块移除策略来评估对分类准确性的影响，通过对 CIFAR-10、CIFAR-100 和 ImageNet 数据集以 ResNet 架构进行广泛实验 - AAAI基于波动的自适应结构修剪大型语言模型
通过提出一种新颖的名为 FLAP（基于波动的自适应结构修剪）的网络学习模型无需再训练就能进行结构修剪的框架，可以有效减少存储和提高推理速度，大大优于现有的基于结构修剪的方法，同时通过制定结构重要性度量，自适应搜索全局压缩模型，并实施补偿机制 - 通过对抗性权重修剪实现更高的排名
卷积神经网络在边缘设备上部署困难，提出了一种基于排名的修剪方法（Rank-based PruninG），通过稀疏权重的高秩拓扑结构来实现高稀疏度，该方法在各种数据集和不同任务上验证了其有效性。
- 超越大小：梯度如何塑造大型语言模型的剪枝决策
预训练的大型语言模型的梯度为基础的模型修剪器（GBLM-Pruner）通过利用卡尔曼几何中的几何相互关联性明显胜过其他竞争对手，并在各种语言评估中超过了幅度修剪、Wanda 和 SparseGPT。
- SparseByteNN：一种基于细粒度分组稀疏性的新型移动推理加速框架
为了解决网络规模增大的挑战，研究者通过网络剪枝开发了稀疏模型。然而，在通用计算设备上实现显著加速的同时保持模型准确性仍然是一个未解决的问题。在本文中，我们提出了一种新颖的移动推理加速框架 SparseByteNN，通过利用细粒度的内核稀疏性 - 无需训练的动态稀疏化：针对稀疏长模型的零训练微调
基于 Dynamic Sparse No Training (DSnoT) 的训练无关的微调方法，能够有效地提高稀疏语言模型的性能，并开拓了将稀疏性应用于大型语言模型的潜力。
- 集成口罩网络
该研究介绍了两种机制 - 灵活的掩码输入矩阵和独特的网络修剪以尊重掩码的依赖结构，网络可以近似执行固定操作如矩阵 - 向量乘法，该机制对于在基于图的模型中进行文献测试依赖性或交互顺序具有应用价值。
- EDAC：高效部署用于 COVID-19 检测的音频分类模型
通过网络修剪和量化的方法，我们成功地压缩了两个用于检测 COVID-19 的模型，同时不降低模型的预测性能，并实现了模型文件大小的大幅减小以及相应推理时间的缩短。
- YOLOv5 模型压缩方法综述
通过分析网络剪枝和量化方法在 YOLOv5 上的应用实际结果，我们确定了在压缩 YOLOv5 方面采用剪枝和量化方法的适应性差距，并提供了未来在这个领域进一步探索的方向。
- 语言模型压缩的低秩剪枝和分解
利用网络剪枝与矩阵分解相结合的方式，提出了一种有效的预训练语言模型的模型压缩方法，通过新的初始化技术和训练过程优化技巧，能够在保持性能的同时实现更加高效的模型压缩。
- 大型语言模型的简单有效剪枝方法
本文介绍了一种名为 Wanda 的裁剪方法，旨在在无需微调或权重更新的情况下诱导预训练 LLMs 的稀疏性，并在 LLaMA 上进行全面评估，实验证明 Wanda 在各种语言基准测试中显著优于基线剪枝方案，并与涉及大量权重更新的最近方法竞争 - 通过元梯度增强改善元学习的泛化能力
本文从梯度规范化的角度出发，提出了一种数据无关的元梯度增强 (MGAug) 方法，通过网络修剪来打破背诵性记忆，并探讨了三种修剪策略，实验表明该方法在多个 few-shot 学习基准测试中显著提高了性能
- 深度网络剪枝的几何视角：有多稀疏可以剪枝？
本文研究了深度神经网络的过度参数化问题，提出了一种全局一次性网络剪枝算法，并通过计算高维几何中的正交宽度来确定剪枝比率的相变点，该值等于基于 $l_1$ 正则化损失函数的某个凸体的平方高斯宽度除以参数的原始维度。
- 神经网络多目标贝叶斯优化的增强随机搜索
本文提出一种新的基于强化学习的方法来优化在小型设备上部署的深度神经网络，以便在保持预测精度的同时最小化内存占用和计算复杂度。实验结果表明，该方法在不同数据集和架构上均优于现有的多目标贝叶斯优化方法。
- 概率建模：在脉冲神经网络中证明彩票票证假设
本文提出了一种新的概率建模方法来适应间歇性发放信号神经元的复杂时间空间动力学，通过定理及实验证明了 LTH 在间歇性发放信号神经网络上成立，并进一步设计了一种基于我们理论的新的剪枝准则，取得了比基线更好的剪枝效果。
- 模型剪枝实现本地化和高效化联邦学习，用于收成预测和数据共享
本文提出一种新的技术解决方案，利用客户端模型的网络修剪和聚合来解决在农业食品领域中数据异构性所带来的问题，该方法可以提高 15.5％至 20％的推理性能，并将本地模型大小减少高达 84％和客户端和服务器之间通信的数据量减少 57.1％至 6 - 网络剪枝空间
本研究提出网络剪枝空间的概念，探讨子网络结构在不同剪枝范围内的最小精度损失并证明了在某个剪枝范围内存在最佳的 FLOPs-to-parameter-bucket 比率，通过实验结果表明，我们找到的子网络在合理的 FLOPs 下优于现有最先进