- FedMap：迭代基于幅度修剪的通信高效联邦学习
FedMap 是一种新颖的方法，通过协作学习逐渐稀疏全局模型，从而提高联邦学习系统的通信效率，适用于对隐私至关重要的医疗和金融领域。它采用迭代的振幅剪枝方法训练全局模型，以减少通信开销，避免了参数重新激活问题，实现了稳定的性能表现。FedM - Transformer 模型中的关键要素：并非所有的注意力都是必要的
通过使用基于相似性的度量标准，本文研究了 Transformer 中不同模块（如 Blocks、MLP 和 Attention 层）之间的冗余性变化，发现一大部分 Attention 层可以被安全剪枝，从而降低内存和计算成本，并提出了一种同 - 重新思考大型语言模型剪枝：重构误差最小化的好处和陷阱
通过分割模型、顺序修剪、重构稠密对应模型的预测，及时合并稀疏子模型，本文首次提出了一系列重建技术，可以显著降低高复原误差，并发现最小化复原误差并非总是理想的，引入自动生成校准数据的策略以平衡复原和泛化之间的权衡，为剪枝大型语言模型的新方向提 - BlockPruner：大型语言模型的细粒度剪枝
我们提出了一种名为 BlockPruner 的新型无需训练的结构化修剪方法，通过定位多头注意力和多层感知机块中的冗余实现更精细的修剪，实验证明，与现有方法相比，BlockPruner 在各种下游任务中实现了更精确和有效的修剪。
- 优化眼科医生：通过稀疏生成器在初始化期间找到图像先验
介绍了一种用于修剪和训练深度图像生成网络的最佳眼科医生 (Optimal Eye Surgeon, OES) 框架，使用自适应修剪网络的方法，实现低频图像组件和去噪图像的生成。
- ACLLight-PEFT: 轻量级参数高效微调通过早期修剪
Light-PEFT framework enables efficient fine-tuning by pruning redundant parameters in the foundation model and PEFT modu - 多头注意力自动剪枝
基于通道相似性和修剪指示器的多头注意力机制自动修剪方法，通过平衡各头通道的移除比例和通道信息的重新加权来降低计算复杂性，并在图像分类任务中表现出超越先前的高效模型和修剪方法的准确性。
- 迷惘于迷惘：基于困惑度的小参考模型数据修剪
通过研究发现，对大规模文本数据集进行小型语言模型基于困惑度的修剪，可以显著提高后续任务的性能，并且能够在过度训练和数据受限制的情况下获得下游性能增益。
- 基于相关性和数量级的资源感知 DNN 剪枝
提出了一种名为 FlexRel 的新型修剪方法，通过结合训练时间和推理时间信息，即参数大小和相关性，来提高准确性，并节省计算资源和带宽。性能评估表明，FlexRel 能够实现更高的修剪因子，为典型准确性目标节省超过 35％的带宽。
- 强化学习任务的神经网络压缩
在强化学习中应用稀疏性和修剪方法对神经网络推断进行优化，从而达到能耗和延迟效率的提升，本研究针对不同强化学习算法及环境系统地进行了探索，并取得神经网络规模最多减小 400 倍的优化效果。
- IJCAI使用多智能体 A* 近似求解 Dec-POMDP
我们提出了一种基于 A * 算法的有限时域 Dec-POMDPs 策略计算方法，目标是以可扩展性为代价来牺牲最优性，在较大的时域内取得竞争性性能，主要特点是使用聚类的滑动窗口内存、修剪 A * 搜索树以及使用新颖的 A * 启发式策略。我们 - 基于连接的 CNN 架构的迭代滤波剪枝
基于模型压缩和硬件加速，本研究通过剪枝方法对高度互联的卷积层的连接汇如 YOLOv7 中进行处理，并通过迭代敏感度分析、剪枝和模型微调，显著减少了模型大小，同时保持了可比较的模型准确性。最终将剪枝模型部署到 FPGA 和 NVIDIA Je - ICMLCOPAL：大型语言生成模型的持续剪枝
本文提出了 COPAL 算法（COntinual Pruning in Adaptive Language settings）用于在持续的模型适应环境中对大型语言生成模型进行修剪，通过敏感性分析引导修剪过程，从而提高模型适应新领域的能力并增 - ICLR当小的更小时会发生什么？探究对小数据预训练语言模型进行压缩的影响
压缩技术对小规模数据语言模型的效率和效果具有显著改善作用，证实了对大规模参数化模型的压缩效果的普遍观点同样适用于小规模数据模型。
- RESSA：通过稀疏跨模态适应修复稀疏视觉语言模型
通过罕见模型剪枝和稀疏模型修复解决了资源受限场景下部署大规模 Vision-Language Models 的挑战，提出了一种稀疏跨模态适应方法 (RESSA)，其中包括稀疏 LoRA 技术和交互模态微调，实现了显著的性能增强。
- 基于提示 - 提示的专家混合模型进行高效 LLM 生成
GRIFFIN 是一种在不同非 ReLU 激活函数的大规模语言模型 (LLMs) 中选择唯一的前馈 (FE) 专家以实现高效生成的新型无需训练的 MoE 方法。
- 压缩链：组合压缩卷积神经网络的系统方法
卷积神经网络模型压缩是一项重要研究，通过量化、修剪和知识蒸馏等方法可以显著降低计算成本并保持准确性。
- 基于交叉栅极模拟内存加速器的 ADC 效率提升的修剪方法
通过识别三个关键属性，我们提出了一种适用于 ADC 特定效率低下问题的剪枝方法，实现 ADC 能量的降低并减少精度损失，从而提高深度学习效率。
- LNPT: 无标签网络剪枝和训练
在本文中，我们介绍了学习差距的概念，并强调其与泛化能力的准确相关性。实验表明，学习差距以网络倒数第二层的特征图的形式与泛化性能的变化相一致。我们提出了一种新的学习框架，LNPT，使得云端的成熟网络能够对没有标签的智能设备上的网络修剪和学习提 - ICLR修剪的循环神经网络层中的图扩展保留性能
神经网络的稀疏性和强连通性是扩展属性，对于在资源受限平台上使用递归神经网络进行实时序列学习任务来说，剪枝是必要的。本研究探讨了保持递归网络的大型谱间隙和层级扩展属性的方法，以及关于它们双分层图特性的时间展开递归网络图研究。通过 MNIST、