本文评估了三种在深度神经网络中引入稀疏性的技术，并对两个大规模的学习任务进行了严格评估，结果表明，简单的幅度剪枝方法可以获得相当或更好的性能，而不能从头开始训练稀疏结构，并强调了建立大规模基准测试的必要性。

Feb, 2019

本文系统梳理了当前深度学习领域中关于稀疏性技术的研究现状，并提供了丰富的稀疏性实现、训练策略及其数学方法等方面的教程，指明如何通过利用稀疏性以达到优化神经网络结构和提高性能的目的。

Jan, 2021

介绍了在移动设备中使用深度神经网络技术的优劣，提出了通过分割计算和提前结束计算的方法，将深度神经网络分别部署在移动设备和云/边缘服务器上，最终可减少带宽和能耗，同时提高精度并根据当前需求调节精度与延迟之间的平衡。

Mar, 2021

本研究提出了一种基于动态选择拆分位置的动态拆分计算模型，通过利用现代深度神经网络结构中已有的瓶颈，避免了重新训练和超参数优化，并没有对深度神经网络的最终准确性产生任何负面影响。大量实验证明，动态拆分计算模型在边缘计算环境中可以实现更快的推理。

May, 2022

通过在计算通用矩阵乘法（GEMM）时考虑激活的最终位置，我们设计了一种稀疏训练过程，以诱导可利用的半结构化激活稀疏性，并在图像分类和目标检测任务中对其进行了广泛评估，结果显示在 ImageNet 数据集上，我们的方法在 ResNet18 模型上实现了 1.25 倍的加速，并仅有 1.1% 的最小精度降低；另外，与先进的结构化剪枝方法相结合，得到的模型在延迟和准确性之间取得了很好的平衡，优于仅采用结构化剪枝技术的模型。

Sep, 2023

将早期退出和拆分计算相结合，开发了一种在线无监督学习算法SplitEE，通过在资源受限设备中选择性计算和外部计算，实现了大幅降低成本（>50%）并略微降低准确性（<2%）的效果。

Sep, 2023

本文系统分析了多个稀疏深度神经网络的使用情况并研究了优化的机会，基于这些研究结果，我们提出了Dysta，这是一种利用静态和动态稀疏信息进行稀疏多深度神经网络调度的新型双层动态和静态调度器。我们构建了一个公共基准，其中包含了跨移动电话、AR/VR可穿戴设备和数据中心的不同部署情景的稀疏多深度神经网络工作负载。对稀疏多深度神经网络基准的全面评估表明我们提出的方法在满足延迟限制方面的违规率减少了10%左右，并且平均归一化周转时间减少了近4倍。我们的工件和代码可公开获取。

Oct, 2023

神经网络稀疏化通过减少模型大小、计算复杂度和内存占用的同时保持竞争性能，成为在资源受限设备上部署的有效技术。本研究开发了适应神经网络稀疏化的全程训练流程，利用非标准模型参数初始化、预修剪训练方法和后修剪训练优化等技术，实现了显著提升于当前最先进的神经网络稀疏化方法的效果。

Dec, 2023

最近深度神经网络（DNN）的进展源于其在各个领域的出色性能。然而，它们天生的庞大大小限制了将这些网络部署到资源受限的设备，如边缘、移动和物联网平台。我们的工作提出了一种创新的统一方法，将早期退出和分裂计算合并在一起。考虑准确性、计算效率和通信成本，我们确定了DNN中边缘设备计算的最佳深度（分裂层），以及是否在边缘设备上进行推断或将其卸载到云中进行推断。此外，图像分类面临着各种环境失真的影响，受到时间、光照和天气等因素的影响。为了适应这些失真，我们引入了一种名为I-SplitEE的在线无监督算法，适用于缺乏基本事实和具有时序数据的场景。使用Caltech-256和Cifar-10数据集进行的实验证实证明了I-SplitEE能够通过最多降低5%的较小性能退化来将成本降低至少55%的能力。

Jan, 2024

利用结构化剪枝技术，Reconvene系统可快速生成适用于边缘部署的经剪枝模型，大小减小了16.21倍，速度加快2倍，同时保持与未经剪枝的模型相同的准确性。

Apr, 2024