现代人工神经网络的过多计算需求为可以运行它们的机器带来了限制。我们提出一种高效的、始终稀疏训练算法，具有一流的大规模和更稀疏模型的线性时间复杂度，并通过引导随机探索算法改善了先前稀疏训练方法的准确性。

Jan, 2024

本文提出通过渐进式变化策略的梯度退火（gradient annealing，GA）以及最新的可学习剪枝方法相结合的自动稀疏训练算法 AutoSparse，在 ImageNet-1K 数据集上表现优异，80% 稀疏 ResNet50 的训练和推断 FLOPS 减少分别达到 2 倍和 7 倍。与当前最好的稀疏到稀疏（sparse-to-sparse）方法 MEST 的表现相似，但使用的训练和推理 FLOPS 分别多 12％和 50％不到。

Apr, 2023

利用强大的直通估计作为核心，结合新的阈值运算符和梯度缩放技术，Feather 是一种有效的稀疏训练模块，能够在标准训练过程中实现健壮的稀疏化性能，通过在 CIFAR 数据集上使用各种体系结构进行演示，而在 ImageNet 上，它使用 ResNet-50 体系结构实现了最新的 Top-1 验证准确性，超过了现有方法，并且具有显著的优势，包括更复杂和计算量较大的方法。

Oct, 2023

本文系统梳理了当前深度学习领域中关于稀疏性技术的研究现状，并提供了丰富的稀疏性实现、训练策略及其数学方法等方面的教程，指明如何通过利用稀疏性以达到优化神经网络结构和提高性能的目的。

Jan, 2021

本文提出了 SparseTrain 来加速卷积神经网络的训练，该方法通过完全利用稀疏性，主要包括三个方面的创新：激活梯度剪枝算法、稀疏训练数据流和加速器架构。评估结果表明，与原始训练流程相比，SparseTrain 平均可实现约 2.7 倍的加速和 2.2 倍的能量效率提高。

Jul, 2020

该论文提出了一个新的神经网络压缩框架 NNCF，它基于当前各种网络压缩方法进行改进，如稀疏化、量化和二值化。这些方法可以加速推理时间，同时保持原有的准确性。NNCF 可作为训练样本或单独的软件包供使用，并且可以无缝地集成到现有的训练代码中。

Feb, 2020

提出了一种新颖且强大的稀疏学习方法：自适应正则化训练（ART）。通过逐步增加权重正则化，我们将稠密网络压缩为稀疏网络，并通过最高权重的方式压缩预训练模型的知识。在极高稀疏度情景下，我们的方法在 CIFAR 和 TinyImageNet 上比其他稀疏化方法具有显著的性能提升，并对高量级权重中编码的模式提供了新的认识。

Aug, 2023

使用标准的计算机视觉和自然语言处理稀疏基准测试，探讨高稀疏性对模型训练的影响，提供了一种解决有关稀疏训练困难的新方法，并在高稀疏性环境下实现了在视觉模型和语言模型上最先进的结果。

Aug, 2023

本文研究了使用逐步剪枝技术进行 CNN 的结构化稀疏训练，通过简化强制稀疏的结构，探索在卷积核和过滤器内进行细粒度剪枝的训练方法，实现了对全图像网的 ResNet-50 和 ResNet-50 v1.5 的少量损失精度的稀疏版本。同时还考虑了对抗攻击的问题。

Jan, 2020

本文提出了一种新的计划性生长和修剪（GaP）方法，通过重复生长图层子集并在一定训练后将它们修剪回稀疏状态，以减少计算和内存成本，同时保持模型质量。实验结果表明，该方法获得的稀疏模型在各种任务中的性能都优于先前最先进的算法，并且无需预训练密集模型即可获得高质量的结果。

Jun, 2021