深度神经网络中的结构稀疏学习
本研究分析稀疏性对深度神经网络加速器的设计效率和预测精度的影响，证明了相对于细粒度稀疏性，粗粒度稀疏性能够在保持同等精度的前提下获得更好的压缩率和更高效的硬件设计
May, 2017
本文提出了一种名为结构化稀疏正则化（SSR）的滤波器剪枝方案，它通过两种不同的正则化方法来适应性地裁剪卷积神经网络（CNN）的滤波器，从而提高计算速度和降低内存开销，并通过实验验证了其优异性能。
Jan, 2019
本文提出了一种基于Out-In-Channel稀疏正则化（OICSR）的全局贪心利用相关性检测权重，进而实现对多个连续卷积层的稀疏化压缩，并设计了一种全局贪心裁剪算法来进一步压缩卷积神经网络的FLOPs，同时在准确率方面也取得了优于原始模型的成果。
May, 2019
本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法，与传统的剪枝方法不同，本方法采用渐进式连续松弛和网络优化，然后采样稀疏子网络，使得训练出来的深层网络更加高效。实验结果证明，采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。
Jul, 2020
本文系统梳理了当前深度学习领域中关于稀疏性技术的研究现状，并提供了丰富的稀疏性实现、训练策略及其数学方法等方面的教程，指明如何通过利用稀疏性以达到优化神经网络结构和提高性能的目的。
Jan, 2021
本文提出了一种名为MaskSparsity的新型网络剪枝方法，使用有意义的稀疏正则化方法来选择特定滤波器，以获得更好的模型压缩效果，并在不损失模型准确性的情况下，在Deep Learning领域实现63.03%的FLOP降低和60.34%的参数减少。
Jan, 2022
以多层复杂结构表示不同稀疏度，提出 DNN 加速器 HighLight，能有效地将 DNN 稀疏化转换为降低能耗和延迟的技术，并达到高灵活性和性能，改善 DNN 应用的精度和能效。
May, 2023
通过在计算通用矩阵乘法（GEMM）时考虑激活的最终位置，我们设计了一种稀疏训练过程，以诱导可利用的半结构化激活稀疏性，并在图像分类和目标检测任务中对其进行了广泛评估，结果显示在 ImageNet 数据集上，我们的方法在 ResNet18 模型上实现了 1.25 倍的加速，并仅有 1.1% 的最小精度降低；另外，与先进的结构化剪枝方法相结合，得到的模型在延迟和准确性之间取得了很好的平衡，优于仅采用结构化剪枝技术的模型。
Sep, 2023
通过张量近似和结构分解的方法，该研究提出了一种软件框架（TASDER），以更好地支持硬件加速稀疏深度神经网络，并在能耗延迟乘积上平均提升了83%至74%。
Mar, 2024