使用结构化稀疏技术、粒子滤波方法和固定点优化技术对深度神经网络进行了精简，优化后可在嵌入式计算机和硬件系统上提供更加高效和优化的实现。

Dec, 2015

本文提出一种同时实现卷积神经网络的规模经济和速度提升的方法，包括一种有效的一般性稀疏 - 稠密矩阵乘法实现以及一种性能模型，可以预测不同层和不同计算机架构的稀疏水平的最佳值，该方法可在包括移动设备和超级计算机在内的各种处理器上实现 3.1-7.3 倍的卷积速度提升。

Aug, 2016

该论文提出了一种通过消除冗余特征（或滤波器）来修剪深度和 / 或宽度卷积神经网络模型的高效技术，其依据特征空间中的相对余弦距离区分它们和它们的连接特征映射并优化精度和推理性能，但优化后的算法能将 VGG-16 的推理成本降低 40％、ResNet-56 的推理成本降低 27％、ResNet-110 的推理成本减少 39％。

Feb, 2018

本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

Aug, 2016

提出了一种新的神经网络卷积核剪枝方法，通过 Taylor 扩展来近似剪枝参数变化引起的代价函数的改变，并结合反向传播的微调来保持剪枝网络的良好泛化性能，该方法在细粒度分类任务中表现出优异的性能。

Nov, 2016

研究表明，通过暂时修剪和恢复模型的子集滤波器，反复进行该过程，可以减少所学习特征的重叠，从而提高了模型的泛化能力；而在这种情况下，现有的模型修剪标准并不是选择修剪滤波器的最优策略，因此引入了滤波器之间内部正交性作为排名标准。这种方法适用于各种类型的卷积神经网络，能够提高各种任务的性能，尤其是小型网络的性能。

Nov, 2018

本研究分析稀疏性对深度神经网络加速器的设计效率和预测精度的影响，证明了相对于细粒度稀疏性，粗粒度稀疏性能够在保持同等精度的前提下获得更好的压缩率和更高效的硬件设计

May, 2017

介绍了新的稀疏度维度 - 粗粒度结构内的细粒度剪枝模式 (PCONV) 方法，通过结构内的细粒度稀疏性和连接性稀疏性提高了精度和计算效率，在实时推理中取得了显著的速度提升，没有准确性损失。

Sep, 2019

本研究旨在通过对卷积神经网络的通道剪枝方法进行优化，以提高在移动和嵌入式设备上的计算效率，虽然有些情况下通道剪枝算法可能会损害计算性能，但是我们还是发现采用基于性能的剪枝会达到预期的效果。

Feb, 2020

本文介绍一种基于辅助门控机制的结构化网络剪枝方法，通过给主干网中的块分配重要性标记，并提出了一种块级剪枝的投票策略来解决移动设备上使用卷积神经网络时遇到的成本问题。通过知识蒸馏的三阶段训练计划，提高了模型性能，实现了更好的压缩率。实验证明该方法在分类任务中可以取得最先进的压缩性能。此外，通过提供预训练模型，我们的方法可以与其他剪枝方法协同集成，从而实现比未剪枝模型更优异的性能，并减少了超过 93％的浮点运算。

May, 2022