本文提出了一种新的卷积神经网络压缩方法,即采用软自适应方式的谱聚类滤波器剪枝(SCSP),通过层层使用谱聚类来探索过滤器之间的内在连接并只计数有效组来实现模型压缩,同时保持相当的性能表现,也找到了一种新的解释模型压缩过程的方法。
Jun, 2018
本文通过软过度滤波 (SFP) 方法对深度卷积神经网络 (CNN) 推导过程进行了加速优化,通过对模型进行剪枝更新达到了更高的准确性和更高效的训练,这种方法不依赖预训练模型且在 ILSCRC-2012 数据集 ResNet-101 上表现优异。
Aug, 2018
使用结构化稀疏技术、粒子滤波方法和固定点优化技术对深度神经网络进行了精简,优化后可在嵌入式计算机和硬件系统上提供更加高效和优化的实现。
Dec, 2015
本研究旨在通过对卷积神经网络的通道剪枝方法进行优化,以提高在移动和嵌入式设备上的计算效率,虽然有些情况下通道剪枝算法可能会损害计算性能,但是我们还是发现采用基于性能的剪枝会达到预期的效果。
Feb, 2020
本文提出了基于最小 - 最大框架的卷积神经网络滤波器级别剪枝方法,该方法同时对 CNN 模型参数进行剪枝和微调,具有自适应剪枝率和可直接指定误差容限等特点,在不损失准确性的情况下,有效减少了 VGG-16 的参数数量和 FLOPS。
May, 2019
本文提出了一种基于遗传算法的新型通道剪枝方法,通过分层和知识蒸馏框架的剪枝中,显著降低了模型的冗余,并在三个基准数据集上验证其性能。
May, 2018
基于脉冲神经网络(SNN)的结构稀疏化,提出了一种基于卷积核活动水平的结构删减方法,通过动态调整网络结构使其更适应当前目标任务,提高模型的适应性、降低计算负载和加速推理过程。
Jun, 2024
本文提出了一种自适应基于激活的结构化裁剪方法,以自动高效地生成满足用户要求的小型、准确和硬件高效的模型,它提出了迭代性结构化裁剪和自适应剪枝策略,可在不降低精度的情况下大幅减少参数和 FLOPs
Jan, 2022
应用自适应权重扰动和稳定正则的 AdaSAP 方法对深度学习模型进行剪枝,实现了具有鲁棒性的稀疏网络,该方法在分类和物体检测任务上表现出较高的准确性。
Jun, 2023
本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法,与传统的剪枝方法不同,本方法采用渐进式连续松弛和网络优化,然后采样稀疏子网络,使得训练出来的深层网络更加高效。实验结果证明,采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。
Jul, 2020