本文提出一种同时实现卷积神经网络的规模经济和速度提升的方法，包括一种有效的一般性稀疏-稠密矩阵乘法实现以及一种性能模型，可以预测不同层和不同计算机架构的稀疏水平的最佳值，该方法可在包括移动设备和超级计算机在内的各种处理器上实现3.1-7.3倍的卷积速度提升。

Aug, 2016

本文介绍一种利用CNNs 去处理罕见数据的工具套件，包括直接稀疏卷积、注意力机制避免填充，以及适用于标准学习框架的反向传播算法改进，可以实现比传统密集框架更低的内存足迹和计算时间。

Jan, 2018

介绍了一种新的动态稀疏重参数化方法，能够更有效地训练深度卷积神经网络，在固定的参数预算下达到最佳准确率，并发现在训练过程中探索结构自由度比增加额外的参数对网络性能的提升更为有效。

Feb, 2019

本文提出了一种基于条件输入图像的动态卷积方法，其中通过引入一个小型门控分支来学习空间位置，以决定应该对哪些区域进行评估，通过在CIFAR、ImageNet和MPII数据集上的实验证明该方法在处理人体姿态估计等空间稀疏任务方面，相对已有方法具有更好的准确性和处理效率。

Dec, 2019

本文提出了一种名为 DS-Net 的动态可整合网络概念，它通过在测试时动态调整网络的卷积滤波器数量，从而实现好的硬件效率。同时，DS-Net 通过一种双头动态门的机制，具有动态推理的能力，并使用一种两阶段训练方案进行训练。实验结果表明，DS-Net 在 ImageNet 数据集上与 ResNet-50 和 MobileNet 模型相比，具有更高的计算性能和实际加速性能。

Mar, 2021

提出了一种动态的、基于输入的Token稀疏化框架，通过阈值删除多余的信息元素，并通过自注意力网络的特性，使其仍然具有硬件友好性。在保证精度的同时，相比现有CNN和Transformer模型，通过分层删减66%的输入元素，可以大大减少FLOPs、提高吞吐量。

Jun, 2021

本研究提出了一种基于 Hebbian 理论的动态网络剪枝方法，通过训练一个自我监督的二分类模型来预测每个层中需要处理的卷积核，从而实现 FLOPs 的减少，同时避免通过规范化引入复杂度来平衡各种损失，并实现透明的超参数选择。该方法在 CIFAR 和 ImageNet 数据集上的实验结果表明，与 SOTA 方法相比，具有相似的准确度和更高的 FLOPs 减少率。

Oct, 2021

本文提出了一种通过利用视觉数据中的空间稀疏性进行模型加速的新方法，该方法基于所提出的动态令牌稀疏化框架，并通过自适应和不对称计算等方式推广到各种体系结构中，通过对不重要的特征使用轻量级快速路径和对更重要位置使用更具表现力的慢速路径，可以显著减少总体计算量，实验结果表明动态空间稀疏化为模型加速提供了新的更有效的解决方案。

Jul, 2022

本文提出Channel-aware dynamic sparse (Chase)方法：将unstructured dynamic sparsity转变为GPU-friendly channel-level sparsity加速inference，通过逐渐去除biased parameter reallocation across channels，不损失准确率地实现了1.7 X inference throughput speedup on common GPU devices with ResNet-50 on ImageNet。

May, 2023

本研究解决了卷积模型加速效果不足的问题，提出了一种新的方法，通过学习掩蔽的半结构稀疏性模式，利用现有硬件加速卷积模型。研究表明，该方法在推理时实现了超过两倍的加速，同时保持了模型性能和可更新性，确保了预测的稳定性界限。

Nov, 2024