现在我能看到,我能改进:在边缘使CNN的数据驱动微调成为可能
本文提出了一种高效、灵活的 DNN 分区方法,通过迭代删除不重要的卷积层过滤器进行剪枝,从而减少移动设备的无线传输负担或总计算负担,并能够自动选择满足各种延迟和准确性要求的修剪过的模型。实验表明,与未剪枝的原始 DNN 模型相比,该框架在传输负载上可实现多达 25.6 倍的降低,总计算速度加快了 6.01 倍,端到端延迟降低了 4.81 倍。
Mar, 2019
本研究提出了CURL方法,通过KL-divergence标准对残差连接内外的通道进行修剪,并使用知识蒸馏和标签细化方法解决了有限数据和标签噪声带来的问题,在ImageNet数据集上显著优于之前的最先进方法,同时在小数据集上修剪时,与预训练的小模型微调效果相当甚至更好。
Nov, 2019
本文针对在边缘设备上部署复杂深度学习模型的挑战,提出了两种基于激活函数的迭代剪枝方法,通过研究结构剪枝与权重剪枝方法的区别,说明结构剪枝会更适合在通用硬件上实现。与权重剪枝相比,这两种方法能更好地压缩模型,并实现更高的准确性。
Jan, 2022
本文提出了一种自适应基于激活的结构化裁剪方法,以自动高效地生成满足用户要求的小型、准确和硬件高效的模型,它提出了迭代性结构化裁剪和自适应剪枝策略,可在不降低精度的情况下大幅减少参数和FLOPs
Jan, 2022
本文提出了一种在资源受限设备上部署和训练最先进模型的新解决方案,其中包括通过一种基于滤波修剪的模型压缩方法创造轻量级可训练模型,以及一种新型知识转移方法,允许在设备上的模型实时增量更新,并以无监督的方式通过云端模型学习新的类别。实验结果表明,该新方法可以在保持良好准确率的同时移除高达99.36%的模型参数,并且允许在设备上的压缩模型在实时内收敛于增量学习任务并识别未见过的数据类别。
Jan, 2022
本文提出了一种新型的卷积神经网络压缩算法,通过利用网络层级复杂性,设计了三种剪枝模式:参数感知型、浮点运算量感知型和内存感知型,以在低功耗设备上实现高效率的模型压缩和加速,并在智能农业,智能医疗和智能工厂等应用中表现出了极高的性能表现。
Aug, 2022
在边缘设备中部署深度神经网络时,我们提出了一种全新的剪枝框架,名为All-in-One,以应对动态功率管理带来的不稳定的推理速度性能,通过重新配置具有各种修剪比例的模型,以适应特定的执行频率和电压,使推理速度保持尽可能稳定。
Dec, 2022
DNNShifter是一个端到端的DNN训练、空间修剪和模型切换系统,通过采用结构化修剪的新方法,快速地生成适用于边缘推理的模型变体,这些模型变体比密集模型小且快速,并且在保持相似精度的同时,产生出高效的推理延迟和低开销模型切换和内存利用。
Sep, 2023
该论文介绍了一种新的网络剪枝方法,针对边缘计算环境中的深度神经网络中的块剪枝。研究方法采用直接的块移除策略来评估对分类准确性的影响,通过对CIFAR-10、CIFAR-100和ImageNet数据集以ResNet架构进行广泛实验,结果表明该方法在减小模型大小的同时保持高准确性方面的有效性,在网络的大部分被剪枝的情况下,尤其是在ImageNet上通过对ResNet50的剪枝时,其结果突出了该方法在维持模型大小和性能之间的最佳平衡能力,尤其是在资源有限的边缘计算场景中。
Dec, 2023
利用结构化剪枝技术,Reconvene系统可快速生成适用于边缘部署的经剪枝模型,大小减小了16.21倍,速度加快2倍,同时保持与未经剪枝的模型相同的准确性。
Apr, 2024