本文提出了一种三阶段的模型压缩方法,即动态稀疏训练、组通道剪枝和空间关注蒸馏,可将目标检测网络的参数减少 64.7%、计算量减少 34.9%。
Jun, 2023
该研究介绍了一种简单而有效的方法(称为 DCP),旨在尽可能地选择实际有助于卷积神经网络判别能力的通道,并进一步通过去除多余的内核来压缩深层网络,同时通过自适应停止条件来防止选择冗余的通道 / 内核并实现更好的性能。
Jan, 2020
介绍了一种有效的基于鉴别力的通道剪枝方法,利用额外的损失函数增加中间层的鉴别力并根据重构误差和额外损失函数选择最具鉴别力的通道,并提出了一种迭代贪心算法来优化参数和通道选择。对类似于 ILSVRC-12 的测试数据,使用该算法对 ResNet-50 剪枝显示出相当有效的性能。
Oct, 2018
本文提出了一种新的通道剪枝方法,通过使用基线模型的中间输出和剪枝模型的分类损失来监督分层通道选择,并通过考虑重建误差、附加损失和分类损失来显著提高剪枝模型的性能。
Feb, 2019
本文提出了一种简单而有效的基于数据驱动优化的频道修剪方法,该方法通过每层发现必要的宽度,以非均匀修剪 ResNet-50 等深度神经网络,实现了与现有方法相同的 FLOP 降低率,同时提高了 0.98%的准确度,并优于其他深度神经网络如 ResNet-34 和 ResNet-18。
May, 2020
本文提出了一种基于遗传算法的新型通道剪枝方法,通过分层和知识蒸馏框架的剪枝中,显著降低了模型的冗余,并在三个基准数据集上验证其性能。
May, 2018
本文研究了如何利用图像尺度上的特征出现来修剪神经网络,以减少网络中的参数数量,并在 PASCAL 2007 目标检测挑战赛中证明可以消除一些全连接层中接近零的激活单元,从而实现低影响的参数减少。
May, 2016
本论文提出了一种简单而有效的数据驱动信道剪枝算法,该算法通过利用操作的特性以可微分的方式压缩了深度神经网络,并对批次归一化和修正线性单元进行了联合考虑,以评估连接每个特征图的两个连续操作关闭其的可能性并修剪概率高的信道。
Jul, 2020
本研究提出了一种基于注意统计的简单通道剪枝技术,使用单个压缩比替代每层模型的分析,实现了自动通道选择,取得了超越常规方法的性能提升,训练不同模型和数据集的结果表明该方法减少了计算成本且更加准确。
Jun, 2018
本文提出了一种基于马尔可夫过程的可微信道修剪方法 Differentiable Markov Channel Pruning (DMCP),它可以通过梯度下降直接优化标准任务损失和预算规则来有效地搜索最优子结构,并可以在各种 FLOPs 设置中实现比现有最优修剪方法更为准确和优秀的结果。