剪枝对对抗鲁棒性的影响
本文研究深度卷积神经网络滤波器修剪方法,通过检验实验证明,我们使用随机滤波器修剪策略能够获得接近最先进修剪方法的性能,同时在图像分类和目标检测中均能实现显著的加速。
Jan, 2018
本文研究了网络剪枝策略的扩展,力图在保留网络的鲁棒性的同时设计更紧凑的神经网络,并基于对现有策略的缺陷进行改进,最终在 CIFAR-10 数据集上取得了不俗的成绩。
Jun, 2019
本文提出了一种卷积神经网络的结构冗余剪枝方法,通过在最具有结构冗余性的层剪枝,可以相对于之前研究集中在去除不重要滤波器的方法,更有效地压缩网络架构,并在不同的基准模型和数据集上获得了显著优越的表现
Apr, 2021
研究表明,通过暂时修剪和恢复模型的子集滤波器,反复进行该过程,可以减少所学习特征的重叠,从而提高了模型的泛化能力;而在这种情况下,现有的模型修剪标准并不是选择修剪滤波器的最优策略,因此引入了滤波器之间内部正交性作为排名标准。这种方法适用于各种类型的卷积神经网络,能够提高各种任务的性能,尤其是小型网络的性能。
Nov, 2018
通过对特征图和卷积核级别进行修剪,可以减少深度卷积神经网络的计算复杂性,而且在 CIFAR-10 数据集上的实验证明,在保持基线网络误分类率不到 1% 的情况下,可以在卷积层中引入超过 85% 的稀疏性。
Oct, 2016
本研究提出了一种基于预算限制的深度卷积神经网络修剪框架,并利用学习掩码层、创新的预算目标函数以及知识蒸馏等技术进行修剪,实验结果表明,使用我们的方法修剪后的 CNNs 比现有方法更准确、计算更少,同时即使极度剪枝也不影响分类准确度,具有很大的实用价值。
Nov, 2018
对于基础模型在受挫折性输入下的修剪版本的影响进行了研究,发现在提升普适性、压缩和更快的推断时间方面,模型压缩虽然具有其独特的优势,但不会削弱对抗性鲁棒性。
Aug, 2023
本研究提出了一种学习算法,使用数据驱动的方式训练剪枝代理,利用奖励函数去除不必要的卷积神经网络滤波器,从而简化并加速 CNN,并且在维持性能的情况下去除重复权重,减少计算资源消耗,该方法提供了一种易于控制网络性能和规模之间平衡的方法,并通过对多个流行的 CNN 对视觉识别和语义分割任务进行广泛的剪枝实验进行了验证。
Jan, 2018