我们提出了PruneTrain，这是一种成本高效的机制，可逐步减少训练期间的计算成本，通过使用结构化组套骨骼正则化方法和其他重新配置技术，可以在GPU加速器上高效处理缩小了的卷积神经网络模型，从而实现减少计算成本40％和训练时间39％的效果。

Jan, 2019

本文提出了SparseTrain来加速卷积神经网络的训练，该方法通过完全利用稀疏性，主要包括三个方面的创新：激活梯度剪枝算法、稀疏训练数据流和加速器架构。评估结果表明，与原始训练流程相比，SparseTrain平均可实现约2.7倍的加速和2.2倍的能量效率提高。

Jul, 2020

本文介绍了一种基于 unstructured sparsity 的 code generator - SparseRT，通过对于1x1 convolutions 以及 fully connected layers 进行计算，该方法相对于 equivalent dense computation 速度提升了 3.4x 至 5.4x，同时处理 ResNet-50 的 sparse 3x3 convolutions 取得了 5x 的速度提升，能够有效地加速 GPU 上的深度学习操作。

Aug, 2020

本文提出了一种算法-软件共同设计的剪枝方法，采用“分块友好”的稀疏模式来实现现有的密集结构上的延迟加速，旨在解决原先稀疏模型上由于随机分布权重导致计算不规则的问题，在GPU笔记本上成功地实现了1.95倍速度提升的优化效果。

Aug, 2020

本文研究N:M稀疏性训练的不同方法，并提出了两种新的基于衰减的修剪方法，即“修剪掩码衰减”和“稀疏结构衰减”。研究表明，这些提出的方法在保持与非结构化稀疏性可比的模型精度同时，增加的总训练计算量（FLOPs）相对较小。

Sep, 2022

本文提出利用稀疏子网络以优化内存利用和通信的方法来加速深度学习中的数据和层间并行算法，并将其融入 AxoNN，实验证明在 512 NVIDIA V100 GPU上，相比于 AxoNN，DeepSpeed-3D和 Sputnik，优化后的模型内存消耗减少了74％，总通信时间减少了40％，从而提供了34％的总体加速。

Feb, 2023

本论文提出了一种基于定常块大小的高效稀疏深度学习推断软件堆栈，可以将稀疏加速器应用于Transformer-based语言模型，我们的稀疏加速器在处理各种GEMM形状时，比现有的稀疏库快一个数量级，在Xeon上具有高效的性能。

Jun, 2023

提出了一个计算高效的N:M稀疏深度神经网络（DNN）训练方案，包括算法、架构和数据流共同设计，并利用双向权重修剪方法和稀疏加速器实现了高效的N:M稀疏DNN训练，在几种DNN模型和数据集上的实验结果表明，在2:8稀疏比率下，该方案相对于密集训练可实现平均1.75倍的加速，准确度损失平均仅为0.56%，在FPGA加速器上训练吞吐量提高了2.97~25.22倍，能效提高了1.36~3.58倍。

Sep, 2023

通过在深度神经网络中采用结构化修剪和块稀疏性操作，目前的研究旨在通过减少激活值的内存消耗来减小GPU内存需求，从而降低大规模模型训练的要求并解决生态环境问题。

Nov, 2023

Scorch是一个能够无缝集成高效稀疏张量计算到PyTorch生态系统的库，通过自动化关键优化，实现了在多个领域的深度学习模型中1.05-5.78倍的速度提升，为扩展深度学习和开发其他稀疏库提供了有价值的工具。

May, 2024