- 在客户端上进行修剪而不是服务器：在联邦学习中加速稀疏训练
该研究论文介绍了稀疏训练和加速通信在 Federated Learning 中的整合方法 Sparse-ProxSkip，并在大量实验证明了其良好性能。
- 梯度同构引导的联邦稀疏训练
边缘计算允许在边缘设备上部署人工智能和机器学习模型，它们可以从本地数据中学习并协作形成全局模型。联邦学习是一种分布式机器学习技术，旨在在保护数据隐私的同时促进此过程。本文提出了一种新方法 —— 梯度一致性引导的联邦稀疏训练（FedSGC）， - 逐步接受未知：迈向可靠的现实世界稀疏训练
稀疏训练是一种在实际应用中资源高效的深度神经网络方法，然而，本研究揭示了稀疏训练加剧了对未知样本的不可靠性，通过提出一种新的对未知样本敏感的稀疏训练方法，我们改进了模型的准确性和可靠性，有效降低了面对未知样本时的模型自信度。
- DynST: 资源受限时空预测的动态稀疏训练
本研究首次提出了一个称为 DynST 的行业级部署优化概念，采用动态稀疏训练和传感器部署来优化地球科学中的数据级别，通过迭代剪枝和稀疏训练，动态去除对未来预测贡献最小的传感器感知区域。
- 基于算法、架构和数据流共同设计的高效稀疏 DNN 训练
提出了一个计算高效的 N:M 稀疏深度神经网络（DNN）训练方案，包括算法、架构和数据流共同设计，并利用双向权重修剪方法和稀疏加速器实现了高效的 N:M 稀疏 DNN 训练，在几种 DNN 模型和数据集上的实验结果表明，在 2:8 稀疏比率 - 稀疏联邦训练在物联网车辆中的目标检测
提出了一种基于联邦学习的、针对车联网的目标检测方法，在保证性能的前提下降低通信成本。
- ESL-SNNs：针对脉冲神经网络的进化结构学习策略
本文提出了一种名为 ESL-SNN 的高效进化结构学习框架，用于实现从头开始的稀疏 SNN 训练，通过探索时间上的所有可能参数，使 ESL-SNN 可以有效地学习具有稀疏结构的 SNN 并降低精度损失，从而具有在低功耗和小内存使用量下进行 - 动态稀疏是通道级稀疏的学习器
本文提出 Channel-aware dynamic sparse (Chase) 方法：将 unstructured dynamic sparsity 转变为 GPU-friendly channel-level sparsity 加速 - JaxPruner：用于稀疏度研究的简洁库
本论文介绍了一种基于 JAX 的裁剪和稀疏训练库 JaxPruner，旨在通过提供流行的裁剪和稀疏训练算法的简洁实现，减少内存和延迟开销，从而加速稀疏神经网络的研究，此外，JaxPruner 的算法使用公共 API，并与流行的优化库 Opt - ICLRSalientGrads：稀疏模型用于通信高效和数据感知的分布式联邦训练
使用 Salient Grads 方法基于客户端数据计算模型参数显著性分数，并选择 “数据感知” 亚网络进行训练，仅在训练过程中通过传输高度稀疏的梯度，在解决联邦学习中的计算和通信瓶颈方面表现出良好的效果，具有可行性和实用性。
- AUTOSPARSE: 深度神经网络稀疏训练自动化
本文提出通过渐进式变化策略的梯度退火（gradient annealing，GA）以及最新的可学习剪枝方法相结合的自动稀疏训练算法 AutoSparse，在 ImageNet-1K 数据集上表现优异，80% 稀疏 ResNet50 的训练和 - ICLRSPDF：大型语言模型的稀疏预训练和密集微调
本文提出了一种基于稀疏先训练和密集微调的预训练语言模型方法，可将训练 FLOPs 的数量降低到原来的 2.5 倍，同时保持与密集基线相同的下游任务准确性。该方法为训练大规模 GPT 模型提供了一个可行的方向。
- 校准操纵彩票：使所有选票可靠
本研究提出了一种新的稀疏训练方法，利用两个掩码来生产具备优化置信度校准的稀疏模型，文中实验证明，该方法使 ECE 值下降了达 47.8％，并且同时保持或提高准确性，而只需稍微增加计算和存储负担。
- 深度强化学习中的动态稀疏训练自动降噪
该研究提出了一种新的强化学习方法，自动过滤噪音输入信息，该方法使用动态稀疏训练原理和各种深度强化学习算法，可有效识别出与任务相关的输入信息，并取得了比传统算法更好的性能。
- 平衡即本质：通过自适应梯度修正加速稀疏训练
本文针对深度神经网络在资源受限情况下需付出昂贵的内存和计算代价的问题，提出一种基于梯度修正的自适应稀疏训练方法，实现了时间和空间的双重高效率，并在多个数据集、模型体系结构和稀疏性上展开实验，结果表明，与同类方法相比，本文所提出的方法能够在相 - 更多探索的动态稀疏训练
本文提出了基于动态稀疏训练的稀疏连接性搜索问题的开发和探索获取函数，旨在使稀疏训练达到更高的准确性和更高的稀疏度，实验结果表明，相较于目前最先进的稀疏训练方法，在多项深度学习任务中，本文所提出的方法额外具有更高的准确性。
- 稀疏训练通用框架的两个关键环节：层冻结和数据筛选
该论文提出了一种名为 SpFDE 的通用框架，通过采用稀疏训练、层冻结、数据筛选等技术，可以有效地降低训练成本并保持准确性。
- ICML使用任何掩码更好地训练您的稀疏神经网络
本研究提出了一种新的稀疏训练技术，使用 “幽灵” 神经元和跳跃连接等训练初始策略来提高性能和稳定性，适用于各种稀疏掩蔽方法下的深度学习网络
- CVPRDiSparse: 多任务模型压缩的解耦稀疏化
本文提出 DiSparse 算法，一个多任务模型简化与稀疏训练方法，可分解任务，采用一致的决策进行参数修剪和选择，并在多种配置下，表现出优于常见稀疏训练和修剪方法的性能。
- ICMLDisPFL：去中心化稀疏训练，实现通信高效的个性化联邦学习
提出了一种基于去中心化通信协议的个性化联邦学习框架，利用个性化稀疏掩码为每个用户的本地模型进行定制，进一步节省通信和计算成本，并在不同复杂度的本地客户端上达到更好的个性化性能。