非结构化 DNN 模型权重剪枝 -- 在任何平台上都是有益的吗?
提出了一个系统性的结构裁剪框架来优化 DNNs,使用随机梯度下降和 ADMM,可以以更高的加速度进行优化,即使在一些有损准确性的情况下,模型的压缩率也能达到 15.0 倍。
Jul, 2018
通过 ADMM(Alternating Direction Methods of Multipliers)方法,本文提出了一种新的基于 DNN 模型的结构压缩框架,实现了在不损失精度的情况下对 Lenet-5,AlexNet 和 ResNet-50 模型分别达到 246x,36x 和 8x 的权重剪枝,并且在 AlexNet(ImageNet)中 61x 的权重剪枝只导致了细微精度下降,还引导出了重要的基于 ResNet 和 MobileNet 模型的权重剪枝结果以及全层次二进制化的 LeNet-5 和 ResNet 等。
Mar, 2019
本文利用优化理论中的交替方向乘法器方法,发展了深度神经网络权重剪枝和聚类 / 量化的统一、系统的框架,旨在充分利用冗余,提高 DNN 性能。我们采用多种技术来进一步提高这一框架的性能,并实现了在 LeNet-5、AlexNet 和 VGGNet 等模型上的显著改善。
Nov, 2018
这篇论文提出了一种统一而系统的基于忆阻器的框架,考虑了结构化权重剪枝和权重量化,并将交替方向乘子法(ADMM)纳入深度神经网络(DNN)训练中,以实现高准确度、低功耗和小面积占用率。在 VGG-16(ResNet-18)网络上,与原始 DNN 模型相比,该框架实现了 29.81X(20.88X)的权重压缩比,98.38%(96.96%)和 98.29%(97.47%)的功耗和面积降低,并仅有 0.5%(0.76%)的精度损失。
Aug, 2019
提出一种融合 ADMM 算法和滤波器和列剪枝技术的 DNN 框架,包括网络净化和未使用通路去除算法,可在 LeNet-5、ResNet-18 CIFAR-10 和 AlexNet 上实现 232 倍、60 倍和 5 倍的压缩,以减少 DNN 框架资源的高计算和大内存存储的挑战。
Apr, 2019
通过联合采用修剪和量化,利用强化学习探索与低能耗相关的设计空间及其精度损失,我们提出了一种自动压缩深度神经网络的硬件感知框架,能够在嵌入式深度神经网络加速器上实现能耗最小化。实验结果表明,相比现有方法,我们的框架平均能耗降低 39%,平均精度损失为 1.7%。
Dec, 2023
本文提出了一种基于 memristor 的 DNN 框架,该框架将结构化权重修剪和量化相结合,利用交替方向乘子法(ADMM)算法进行更好的修剪和量化性能,并设计了一种软硬件优化框架,实现了高压缩比和几乎无精度损失的量化。
Aug, 2019
本文研究了定结构剪枝在多任务深度神经网络模型中的有效性。通过使用基于现有单任务筛选剪枝标准和基于多任务学习筛选剪枝标准,采用迭代剪枝策略进行剪枝,本文表明在参数数目相似的情况下,与快速单任务 DNN 相比,DNN 多任务可以通过精心的超参数调整实现相似的性能,迭代权重剪枝可能不是实现良好性能剪裁模型的最好方式。
Apr, 2023