- 神经语言模型修剪用于自动语音识别
我们研究了应用于基于 Transformer 的语音识别神经网络语言模型的模型修剪方法。我们探究了修剪框架的三个方面，即准则、方法和调度器，分析了它们在准确性和推理速度方面的贡献。除此之外，我们提出了一种适用于渐进式压缩模型、并可以交付多个 - DNNShifter: 边缘计算的高效 DNN 剪枝系统
DNNShifter 是一个端到端的 DNN 训练、空间修剪和模型切换系统，通过采用结构化修剪的新方法，快速地生成适用于边缘推理的模型变体，这些模型变体比密集模型小且快速，并且在保持相似精度的同时，产生出高效的推理延迟和低开销模型切换和内存 - FedDIP: 极限动态剪枝和增量正则化的联邦学习
本研究提出了一种新的联邦学习框架 (FedDIP)，通过动态模型修剪和错误反馈相结合的方式，来控制参数交换并实现模型稀疏化，以达到与其他模型修剪方法相媲美或更好的性能。
- 无线网络上高效计算与通信的联邦学习
通过将学习模型分为全局部分和个性化部分，以实现模型剪枝和个性化，本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架，并通过数学分析研究了其收敛性、计算和通信延迟，并最终通过优化问题得到了剪枝比例和无线资源分配的 - 无线网络中的分层联邦学习：修剪应对带宽稀缺与系统异质性
通过模型剪枝在异构网络中提出了一种剪枝启用的分层联邦学习 (PHFL) 算法，通过优化模型剪枝比例、CPU 频率和传输功率以最小化可控部分的收敛界限，在严格的延迟和能量约束下验证了算法的有效性。
- 设备上快速适应预训练模型的一次性剪枝
基于大规模预训练模型，提出了一种适用于低能力设备的可伸缩单次剪枝方法，利用类似任务的剪枝知识从预训练模型中提取一个子网络来适应新任务，实验证明该方法在处理具有不同内存限制的多样化下游任务时，在准确性和效率方面始终优于流行的剪枝基准方法。
- 自适应锐度感知剪枝用于稳健稀疏网络
应用自适应权重扰动和稳定正则的 AdaSAP 方法对深度学习模型进行剪枝，实现了具有鲁棒性的稀疏网络，该方法在分类和物体检测任务上表现出较高的准确性。
- ACLPruMUX：使用模型压缩增强数据复用
本文介绍一种名为 PruMUX 的新方法，将模型剪枝和数据多路复用方法相结合以提高模型的效率，并通过参数（如稀疏度和复用因子）的综合分析，提出了一种元模型 Auto-PruMUX，可以预测模型剪枝和数据多路复用的高性能参数，以提供一种有效的 - 分层无线网络中的自适应联邦剪枝
本文在无线网络中为分层式联邦学习引入了模型剪枝技术，通过联合优化剪枝比例和无线资源分配，旨在最大化模型收敛速度以达到给定延迟阈值，并通过解耦优化问题和使用 KKT 条件得出了剪枝比例和无线资源分配的闭式解，并通过模拟结果展示了模型剪枝在 H - 用于精确和低复杂度 SAR ATR 的图神经网络
本文提出了一种基于图神经网络的低计算复杂度的合成孔径雷达目标识别方法，该方法通过输入修剪和模型修剪两种策略达到了低计算复杂度和较高的分类准确性。
- 互补稀疏化：面向联邦学习的低开销模型剪枝
提出了一种基于 Collaborative Pruning 机制的 Model Pruning 方法，名为 Complement Sparsification (CS)。该方法能够减少通信开销，降低客户端的计算复杂度，并在保持模型准确性的同 - 深度神经网络的功能耦合水印
本文提出了一种新颖的 DNN 数字水印技术以有效防御模型精调和模型修剪等攻击。
- 神经网络中结构组合性的证据
利用模型修剪技术，在视觉和语言领域的各种架构、任务和预训练方案中，研究神经网络是否通过模块化子网络实现子程序的解决方案，结果表明神经网络通常可以展示组合性，避免了专门的符号机制。
- CVPR基于稀疏性指导的帧内插网络设计
提出了一种基于压缩的网络设计用于帧插值，通过稀疏感知优化实现模型修剪，引入多分辨率均值模块，大幅减小模型规模并取得了很高的性能。
- ECCVCPrune: 面向目标的 DNN 高效执行的编译器导向模型剪枝
CPrune 提出了一种基于编译器调整的模型修剪方法，通过构建子图的结构信息进行有信息的修剪，从而在满足精度要求的同时，将 DNN 的执行速度提高了 2.73 倍。
- ICML利用权重重要性的置信上限对大型 Transformer 模型进行修剪
以 UCB（置信上界）为基础的 importance estimation 的 PLATON 方法有效地解决了传统剪枝方法因 mini-batch 采样和复杂训练动态而产生的不确定性和稳定性问题，从而在自然语言理解、问答和图像分类等任务中取 - PAC-Net: 归纳迁移学习的模型剪枝方法
本文提出一种基于模型剪枝的迁移学习的简单且有效的方法 PAC-Net，包括三个步骤：修剪、分配和校准。该方法在各种各样和广泛的归纳迁移学习实验中取得了遥遥领先的表现。
- EMNLP参数的重要性：一种用于提高性能的内部蒸馏方法
本文提出了一种基于 intra-distillation 和自适应学习的通用方法，用于平衡所有参数的灵敏度，从而提高模型的普适性和性能表现。实验结果表明，该方法有效地提升了机器翻译、自然语言理解和零 - shot 跨语言转移等不同领域的表现 - IJCAIFedDUAP: 基于服务器共享数据的动态更新和自适应剪枝的联邦学习
本文提出了 FedDUAP 这样一种基于 Federated Learning 的框架，采用动态服务器更新算法和适应不同层次维度以及重要性的剪枝方法，可显著提高训练精度（高达 4.8%）、效率（高达 2.8 倍）和计算成本（高达 61.9% - ACLTextPruner: 预训练语言模型的模型剪切工具包
本文介绍了 TextPruner，这是一个开源模型剪枝工具包，旨在为预训练语言模型提供快速和简便的模型压缩方法，包括词汇和转换器剪枝等结构化的后训练剪枝方法，并提出了一种自监督剪枝方法，可以节约模型尺寸，而无需重新训练模型。其应用能够用于各