使用注意力统计方法剪枝通道的深度神经网络压缩技术 PCAS
本文提出了一种逐步通道压缩(PCS)方法,以在运行时动态压缩选定的显著度条目,代替粗略地将它们近似为零。并提出一种运行缩小策略,提供一种测试静态的修剪方案,可以减少滤波器索引的内存访问成本,结果表明 PCS 在图像分类任务中超越了所有基线,并在压缩性能平衡方面(tradeoff)达到了最新的性能,实现了显著的推理加速。
Apr, 2023
介绍了一种有效的基于鉴别力的通道剪枝方法,利用额外的损失函数增加中间层的鉴别力并根据重构误差和额外损失函数选择最具鉴别力的通道,并提出了一种迭代贪心算法来优化参数和通道选择。对类似于 ILSVRC-12 的测试数据,使用该算法对 ResNet-50 剪枝显示出相当有效的性能。
Oct, 2018
基于通道相似性和修剪指示器的多头注意力机制自动修剪方法,通过平衡各头通道的移除比例和通道信息的重新加权来降低计算复杂性,并在图像分类任务中表现出超越先前的高效模型和修剪方法的准确性。
May, 2024
本文提出了一种新的通道剪枝方法,通过使用基线模型的中间输出和剪枝模型的分类损失来监督分层通道选择,并通过考虑重建误差、附加损失和分类损失来显著提高剪枝模型的性能。
Feb, 2019
本研究提出了一种基于人工蜂群算法的新型通道剪枝方法,名为 ABCPruner,通过优化每一层的通道数量来寻找最优的剪枝结构,相比于以往的方法,该方法能够有效地减少剪枝结构的组合数量并且更加高效。
Jan, 2020
该研究介绍了一种简单而有效的方法(称为 DCP),旨在尽可能地选择实际有助于卷积神经网络判别能力的通道,并进一步通过去除多余的内核来压缩深层网络,同时通过自适应停止条件来防止选择冗余的通道 / 内核并实现更好的性能。
Jan, 2020
本文提出了一种通道剪枝的方法,可以应用于各种复杂的结构,包括具有耦合通道的结构,在各种主干网络上进行了大量的实验,证明该方法可以有效地提高推断速度而不影响准确性。同时纳入了 GPU 推断速度关联性比 FLOPs 更高的记忆占用量的考量。
Aug, 2021