本文提出一种同时实现卷积神经网络的规模经济和速度提升的方法，包括一种有效的一般性稀疏-稠密矩阵乘法实现以及一种性能模型，可以预测不同层和不同计算机架构的稀疏水平的最佳值，该方法可在包括移动设备和超级计算机在内的各种处理器上实现3.1-7.3倍的卷积速度提升。
Aug, 2016
该论文介绍了一种称为DenseNet的神经网络架构，通过将每一层与其他每一层之间连接起来，可以解决传统卷积神经网络中权重消失和特征重用问题，在目标识别领域中表现优异。
本研究介绍了一种使用稀疏计算的神经网络训练和构建方法，通过引入额外的门变量来执行参数选择，并在小型和大型网络上进行实验验证，证明了我们的方法在稀疏神经网络模型的压缩方面取得了最先进的结果。
Nov, 2016
本文介绍了一种新型的基于拼贴的稀疏卷积算法，通过利用计算掩码的稀疏结构，降低了CNN中高分辨率计算的复杂度，并应用于基于LiDAR的3D目标检测中，最终获得了显著的速度提升而无需牺牲准确率。
Jan, 2018
本文提出了一种名为Fully Dense Network的密集连接网络结构，通过输入较少的参数，自动搜索适用于密集图像预测的高效网络体系结构，该体系结构具有较高的性能和竞争力，并适用于多种不同的图像预测任务。
Apr, 2019
本研究提出一种算法，可以确定生成RadiX-Nets，这些稀疏的深度神经网络拓扑结构相比X-Net拓扑结构更加多样化，同时保留了X-Nets所需的特性，基于长期观察到的稀疏神经网络可以达到与稠密对应物相同的表达能力的功能分析猜想。
该研究提出 Dense Convolutional Network (DenseNet) 模型，使用每一层之前的所有特征图作为输入，解决了梯度消失的问题，促进了特征重用，并在目标识别领域的四个竞争性基准上显着提高了性能效率。
Jan, 2020
本研究探讨了如何在现代神经网络中使用稀疏训练，提出了初始化时的随机剪枝能够有效地提高神经网络的稀疏训练性能，结果表明此方法可以匹配对应的密集网络，达到了预期效果，并且进行适当的层级稀疏比率的选择，可以进一步提高性能。
Feb, 2022
本研究提出了一种新的稀疏训练技术，使用“幽灵”神经元和跳跃连接等训练初始策略来提高性能和稳定性，适用于各种稀疏掩蔽方法下的深度学习网络
Jun, 2022
使用标准的计算机视觉和自然语言处理稀疏基准测试，探讨高稀疏性对模型训练的影响，提供了一种解决有关稀疏训练困难的新方法，并在高稀疏性环境下实现了在视觉模型和语言模型上最先进的结果。
Aug, 2023