本文针对在边缘设备上部署复杂深度学习模型的挑战,提出了两种基于激活函数的迭代剪枝方法,通过研究结构剪枝与权重剪枝方法的区别,说明结构剪枝会更适合在通用硬件上实现。与权重剪枝相比,这两种方法能更好地压缩模型,并实现更高的准确性。
Jan, 2022
通过在深度神经网络中采用结构化修剪和块稀疏性操作,目前的研究旨在通过减少激活值的内存消耗来减小 GPU 内存需求,从而降低大规模模型训练的要求并解决生态环境问题。
Nov, 2023
在嵌入式环境中,卷积神经网络因其过多的权重存储和算术运算而未能得到广泛应用,为解决这一问题,本文提出了一种新的修剪方案,以反映加速器架构,通过此方案,性能得到了大幅提升,并成功应用于 AlexNet,VGG16,ResNet,MobileNet 等多种网络模型。
Apr, 2018
使用结构化剪枝方法,在不降低推理准确度的情况下,通过算法的网络增强、剪枝、子网络合并和移除,实现了高达 93% 的稀疏度与 95% FLOPs 的减少,同时在分类和分割问题上超过了先进水平,并且避免了在 GPU 上进行计算昂贵的稀疏矩阵运算。
Aug, 2023
本研究使用 VGG-16 模型作为示例,测量了各种结构模型修剪方法和数据集(CIFAR-10 和 ImageNet)在 Tensor Processing Units(TPUs)上的准确性和效率之间的权衡,使用 TensorFlow2 开发了一个结构模型修剪库以在 TPUs 上显着提高模型内存使用和速度而不失准确性,这尤其适用于较小的数据集(如 CIFAR-10)。
Jul, 2021
本文提出 AutoCompress,一种自动结构化剪枝框架,可实现超高剪枝比率,同时提供自动超参数确定过程,以及采用最先进的 ADMM-based 结构加权剪枝作为核心算法,并提出了一种新的附加净化步骤,无需损失准确性进行更进一步的权重减少,其有效的启发式搜索方法通过基于经验的指导搜索进行增强,代替了具有潜在不兼容性的问题的先前深度强化学习技术。
Jul, 2019
利用结构化剪枝技术,Reconvene 系统可快速生成适用于边缘部署的经剪枝模型,大小减小了 16.21 倍,速度加快 2 倍,同时保持与未经剪枝的模型相同的准确性。
Apr, 2024
本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法,与传统的剪枝方法不同,本方法采用渐进式连续松弛和网络优化,然后采样稀疏子网络,使得训练出来的深层网络更加高效。实验结果证明,采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。
Jul, 2020
使用结构化稀疏技术、粒子滤波方法和固定点优化技术对深度神经网络进行了精简,优化后可在嵌入式计算机和硬件系统上提供更加高效和优化的实现。
Dec, 2015
本文提出了基于最小 - 最大框架的卷积神经网络滤波器级别剪枝方法,该方法同时对 CNN 模型参数进行剪枝和微调,具有自适应剪枝率和可直接指定误差容限等特点,在不损失准确性的情况下,有效减少了 VGG-16 的参数数量和 FLOPS。
May, 2019