提出了一种名为 CHEX 的新型通道探索方法,使用 CSS 解决层内的通道修剪问题,使用回归阶段解决层间的动态重新分配通道数量的问题。所有探索过程都是在单次训练中完成的,实验结果表明,CHEX 可以有效地减少各种 CNN 架构的 FLOPs,并在多种计算机视觉任务上表现出色。
Mar, 2022
本文提出了一种基于遗传算法的新型通道剪枝方法,通过分层和知识蒸馏框架的剪枝中,显著降低了模型的冗余,并在三个基准数据集上验证其性能。
May, 2018
卷积神经网络中的冗余性不仅取决于权重,还取决于输入。为了减少数据依赖性的冗余,我们设计了一个动态混洗模块,用于生成用于混洗的数据相关置换矩阵。实验证明,我们的方法显著提高了 ShuffleNets 的性能,并且可以作为普通逐点卷积的轻量级替代。
Oct, 2023
提出一种名为 MUXConv 的新型卷积神经网络层,旨在提高网络中空间和通道信息的流动以提高精度,与此同时保持计算效率;通过将其集成于一个高效的多目标进化算法中搜索最优模型超参数来证明 MUXConv 的有效性。在 ImageNet 上,MUXNet 几乎与 MobileNetV3 相当,但更加紧凑,且在人物检测和转移学习等情况下表现良好。
Mar, 2020
本研究介绍了通道门控(channel gating)方法,该方法是动态、细粒度且硬件高效的裁剪方案,能够通过跳过对分类结果没有贡献的输入通道的计算,优化卷积神经网络。实验证明,该方法能够在几乎不损失准确度的情况下,实现浮点运算量减少 2.7-8.0 倍,内存访问减少 2.0-4.4 倍,并结合知识蒸馏可以进一步降低计算成本。我们还设计了一个加速器,能够以 2.4 倍的速度进行量化的 ResNet-18 模型的推理,并实现了 2.8 倍的理论 FLOP 减少。
本文提出一种基于通道修剪的卷积神经网络加速算法,该算法通过端到端随机训练和修剪常量通道的方法得到压缩模型,并在多个图像识别任务上验证了其竞争性能。
Feb, 2018
本文探讨了基于随机或基于度量的通道剪枝策略以及使用强化学习寻找可转移的层面剪枝策略,结果表明后者能够将剪枝策略应用于新数据集并获得压缩的同时保持精度。
Apr, 2020
本文提出了一种新的通道修剪技术 REPrune,利用层次聚类方法在每个通道中识别相似的卷积核,并通过最大化聚类覆盖问题来选择卷积滤波器,结合同时训练和修剪的范式,实现训练过程中的高效修剪,实验结果显示 REPrune 在计算机视觉任务中表现优于现有方法,有效地在加速率和性能保留之间取得平衡。
Feb, 2024
本文介绍了使用通道卷积压缩深度模型的方法,这种方法在 CNN 中替换特征图之间的稠密连接为稀疏连接,从而构建轻量级 CNN。ChannelNets 使用三种通道卷积的实例,并通过对 ImageNet 数据集进行实验来证明了其在参数和计算成本上的显著性降低,且不影响准确性。
Sep, 2018
本研究旨在通过对卷积神经网络的通道剪枝方法进行优化,以提高在移动和嵌入式设备上的计算效率,虽然有些情况下通道剪枝算法可能会损害计算性能,但是我们还是发现采用基于性能的剪枝会达到预期的效果。
Feb, 2020