本文提出一种同时实现卷积神经网络的规模经济和速度提升的方法，包括一种有效的一般性稀疏-稠密矩阵乘法实现以及一种性能模型，可以预测不同层和不同计算机架构的稀疏水平的最佳值，该方法可在包括移动设备和超级计算机在内的各种处理器上实现3.1-7.3倍的卷积速度提升。

Aug, 2016

研究了一种灵活有效的卷积神经网络加速器结构NullHop，采用神经元激活的稀疏特性加速计算并降低内存需求，可用于低功耗和低延迟应用，实现了98%的MAC单元利用率，达到了超过3TOp/s/W的功率效率，并成功将其FPGA实现与神经形态事件相机接口进行了实时交互演示。

Jun, 2017

在嵌入式环境中，卷积神经网络因其过多的权重存储和算术运算而未能得到广泛应用，为解决这一问题，本文提出了一种新的修剪方案，以反映加速器架构，通过此方案，性能得到了大幅提升，并成功应用于AlexNet，VGG16，ResNet，MobileNet等多种网络模型。

Apr, 2018

本文介绍了如何在内存受限的微控制器单元（MCU）上部署卷积神经网络（CNN），并提出了一种自动设计CNN的框架Sparse Architecture Search，将神经架构搜索与剪枝相结合，通过在IoT数​​据集上的测试，证明了这种方法可以在满足MCU内存限制的同时实现更好的性能。

May, 2019

本文研究了使用逐步剪枝技术进行CNN的结构化稀疏训练，通过简化强制稀疏的结构，探索在卷积核和过滤器内进行细粒度剪枝的训练方法，实现了对全图像网的ResNet-50和ResNet-50 v1.5的少量损失精度的稀疏版本。同时还考虑了对抗攻击的问题。

Jan, 2020

本文提出了SparseTrain来加速卷积神经网络的训练，该方法通过完全利用稀疏性，主要包括三个方面的创新：激活梯度剪枝算法、稀疏训练数据流和加速器架构。评估结果表明，与原始训练流程相比，SparseTrain平均可实现约2.7倍的加速和2.2倍的能量效率提高。

Jul, 2020

本文研究了适用于稀疏权重和激活张量的能源高效型深度神经网络(DNN)修剪算法，并提出了一种稀疏DNN训练加速器，可以在不牺牲精度的情况下消耗更少的能源和获得更快的速度。该研究表明，加速稀疏训练需要一种协同设计方法，其中算法被适应到硬件的限制，并且与推断加速器不同，稀疏DNN训练硬件必须应对不同的限制。

Sep, 2020

本文主要介绍了利用大规模稀疏结构提高卷积神经网络推理效率的方法， 开发了一种名为 FSCNN 的稀疏卷积神经网络推理系统，能够在一定的稀疏程度下优于标准深度学习库 PyTorch，但遇到高优化密集运算时推理效率有一定局限性，因此推荐采用粗粒度稀疏度进行通用模型压缩。

Dec, 2022

本文研究卷积神经网络和脉冲神经网络在FPGA加速器上的性能和能量效率，探究SNN是否能实现减少能量要求等期望，结果发现在复杂的应用场景如SVHN和CIFAR-10上，SNN的能量和效率优势并不明显，而在小规模MNIST等基准测试中，两者基本相当。

Jun, 2023

Scorch是一个能够无缝集成高效稀疏张量计算到PyTorch生态系统的库，通过自动化关键优化，实现了在多个领域的深度学习模型中1.05-5.78倍的速度提升，为扩展深度学习和开发其他稀疏库提供了有价值的工具。

May, 2024