- 优化循环网络拓扑结构的动力系统重构
动态系统重建中的几何修剪可以减少参数负荷,而不显著影响质量,其结果网络具有特定类型的拓扑结构,优于其他研究中的小世界或无标度网络拓扑。
- EsaCL:高效学习稀疏模型
提出了一种用于高效学习稀疏模型的新方法,该方法能够自动修剪冗余参数而不降低模型的预测能力,并且避免了重新训练的需要。通过理论分析和设计的修剪和数据选择策略,实验结果表明该方法在减少存储和计算资源的同时,能够在连续学习任务上达到与现有方法相媲 - IncreLoRA:增量参数分配方法用于参数高效微调
提出了一种增量参数分配方法 IncreLoRA,通过根据每个模块的重要性得分,在训练期间自适应地添加可训练参数,以应对有限训练条件下参数剪枝的限制,实现更高的参数效率,并在低资源设置下显著优于基准方法。
- Shapley Head Pruning: 多语言变换器中干扰的识别与消除
通过识别和裁剪语言特定的参数,可以减少干扰,从而提高多语言变压器模型的性能,使用 Shapley Values 等指标来指导删除头注意力。
- 参数修剪的数据集蒸馏
本研究提出了一种基于参数剪枝的数据集精简方法,可以通过删除难以匹配的参数来产生更强韧的数据集,提高精简效果和性能,实验结果表明该方法优于其他现有技术。
- EMNLP先训练平面,再压缩:锐度感知最小化算法学习更易压缩的模型
本文提出了结合 SAM 的各种任务特定的模型压缩方法,包括迭代幅值修剪(IMP)、结构修剪和训练后动态量化,实验表明,优化平坦最小值一致性地导致参数更可压缩,并且在 GLUE 文本分类和 SQuAD 问答基准测试中几乎没有精度损失。
- 模型修剪使边缘设备上的联邦学习更高效
提出了一种新的联邦学习方法 PruneFL,其通过自适应和分布式参数修剪来减少通信和计算开销,并在维持类似于原始模型的准确度的同时,利用全局数据集合进行模型训练。
- NIPS通过增量规则化进行高效卷积神经网络的结构化剪枝
提出了一种逐步分配不同正则化因子的新型正则化剪枝方法(称为 IncReg),可在不影响 CNN 性能的情况下消除冗余参数,有效性通过与最先进的方法相比较后在流行的 CNN 上得到证明。
- 模型压缩的失真率研究:从理论到实践
本文研究深度神经网络模型压缩技术,提出了基于速率失真理论的压缩架构以及优化剪枝和量化技术,理论上证明了该架构对于一层 ReLU 神经网络最优,实验证明该方法在压缩 - 精度平衡上显著优于基线方法。
- 深度神经网络模型压缩与加速综述
本文对深度神经网络模型压缩和加速的最新技术进行了回顾,介绍了参数修剪、量化、转移 / 紧凑卷积滤镜和知识蒸馏等四类技术及其表现、应用、优点和缺点,同时探讨了评估矩阵、评估模型表现所使用的主要数据集和最近的基准努力,并讨论了面临的挑战和未来方