- CVPR边缘上的高能效不确定性感知生物质成分预测
通过应用滤波修剪减少能量需求,该论文研究了草木混合物、草料探测、深度学习算法、与能量消耗相关的过滤修剪以及能源节约的方法,并在两个数据集上评估了该算法。
- 使用几何中值准则对轻量级人脸检测器进行滤波修剪
本文通过在两种已经小巧而紧凑的人脸检测器上实现了滤波剪枝,名为 EXTD(极小型人脸检测器)和 EResFD(高效 ResNet 人脸检测器)。利用几何中位数(FPGM)的滤波剪枝主要算法,结合软滤波剪枝(SFP)的迭代过程。此外,我们还应 - 一种用于端到端学习混合结构压缩的可微分框架
本研究展示了一种可表达滤波器选择、秩选择和预算约束的可微分框架(DF),其中利用 DML-S 进行滤波器选择,将调度集成到现有的掩模学习技术中,并利用 DTL-S 进行秩选择。该框架及其组件通过基于梯度的优化实现端到端学习,实验结果显示 D - 塑造效率:为设备推理修剪医学图像模型
应用机器学习进展于医疗可以改善患者结果,但是模型操作复杂性、遗留硬件和多模态千兆像素图像等问题限制了实时、设备内推理的部署。我们考虑滤波剪枝作为解决方案,在心脏病学和眼科学中探索分割模型。我们的初步结果显示最高可达 1148 倍的压缩率,质 - D-Score:一种基于突触启发的滤波器修剪方法
使用神经科学的视角,通过分析滤波器中正负权重的独立重要性并赋予分数来确定卷积神经网络(CNN)中不重要的滤波器的排名,从而实现了一种新的滤波器裁剪方法 D-Score。在 CIFAR-10 和 ImageNet 数据集上的实验证明了该方法的 - 基于知识驱动差分滤波抽样的卷积神经网络高效剪枝
通过知识驱动的差分滤波器采样 (KDFS) 和带蒙版滤波器建模 (MFM) 框架进行过滤修剪,在不牺牲准确度的前提下,全局剪除冗余滤波器显著降低计算和内存开销。
- 通过相邻层的过滤器相似度进行滤波剪枝
本研究介绍了一种新的滤波器修剪方法(FSCL), 它在连续层之间明确利用滤波器之间的相似性来压缩模型,从而剪掉那些在模型中不太重要的特征, 并在多个基准模型和数据集上取得了显着的精度、FLOPs 和参数量减少。
- 网络剪枝空间
本研究提出网络剪枝空间的概念,探讨子网络结构在不同剪枝范围内的最小精度损失并证明了在某个剪枝范围内存在最佳的 FLOPs-to-parameter-bucket 比率,通过实验结果表明,我们找到的子网络在合理的 FLOPs 下优于现有最先进 - Beta-Rank: 一种用于不平衡医学图像分析的强大卷积滤波器剪枝方法
这篇论文提出了一种新的滤波器剪枝方法,它能够有效地减少深度神经网络所需要的计算资源,同时通过与其他方法的比较和在医学数据集和智能手机应用程序上尝试验证,表明本文提出的方法表现得更好。
- 多任务深度神经网络的结构剪枝
本文研究了定结构剪枝在多任务深度神经网络模型中的有效性。通过使用基于现有单任务筛选剪枝标准和基于多任务学习筛选剪枝标准,采用迭代剪枝策略进行剪枝,本文表明在参数数目相似的情况下,与快速单任务 DNN 相比,DNN 多任务可以通过精心的超参数 - 被动滤波剪枝提高 CNN 效率
提出了一种基于运算符范数的被动滤波器修剪方法,通过考虑滤波器在输出中的贡献来裁剪滤波器,相对于现有的主动滤波器修剪方法快 4.5 倍,并且在声音场景分类和图像分类等任务中表现出更好的泛化能力和性能。
- WHC: 卷积神经网络滤波器裁剪中的加权混合准则
本文提出了一种基于权重的混合准则并解决了基于范数和关系的标准的限制问题,以识别冗余的卷积滤波器并在不引入严重性能降低的情况下进行剪枝,可以在 ImageNet 上对 ResNet-50 进行剪枝,减少了超过 42%的浮点操作而不会损失 to - 子网络多目标进化算法实现过滤器剪枝
本研究提出了一种基于子网络的多目标进化算法用于卷积神经网络过滤器裁剪,通过逐步组合卷积层裁剪,可以在保持更好性能的同时得到轻量化的裁剪结果。
- 主动注意力控制的剪枝
本研究提出了一种新型的 CNN 滤波器重要性评分机制 —— 由主动注意力操纵的修剪(PAAM),该机制可以在训练过程中稀疏化 CNN 的滤波器集,并且不需要预先训练的网络。通过在不同网络架构上的实验结果表明,PAAM 优于各种结构化修剪方法 - Sauron U-Net: 基于滤波器裁剪的医学图像分割自动冗余消除简化版
本文介绍了一种名为 Sauron 的过滤裁剪方法,该方法通过调整层特定阈值丢弃相应的滤波器来消除冗余的特征图,并最小化一种正则化项,促进特征图聚类形成。该方法在医学图像分割任务中实现了比竞争修剪方法更高的性能和修剪率。
- 深度神经网络渐近软簇修剪
本研究提出了一种新的滤波器剪枝方法 —— 渐进软聚类剪枝(ASCP),该方法基于滤波器相似性来确定网络中的冗余,可通过渐进生成更多具有相同特征的滤波器来几乎不降低精度地移除它们。该方法在 CIFAR-10 和 ImageNet 数据集上的实 - 端到端基于敏感度的滤波剪枝
本文提出了一种新颖的敏感度过滤剪枝算法(SbF-Pruner),可以通过端到端的方式学习每个层的过滤器重要性分数,从而生成性能更优异的稀疏子网络,并且完全不需要预先定义的超参数和层预算。
- 一种基于被动相似性的卷积神经网络滤波修剪技术,用于高效声学场景分类
本文介绍了一种开发用于声音场景分类的低复杂度卷积神经网络的方法,其中通过余弦距离算法和 Fine-tuning 过程,将 CNNs 的卷积滤波器数量减少来缩小网络规模,从而提高运行效率并保持高准确性。
- 基于通道独立性的紧凑神经网络剪枝方法 CHIP
本文从跨通道的角度出发,提出了一种基于通道独立度的高效的滤波器剪枝方法,该方法通过减少含有较少有用信息的特征图的数量,从而减小了模型容量,提高了模型的计算和存储效率。实验结果表明,在不影响精度的情况下,该方法可以显著地减小模型大小和 FLO - CVPR高效修剪深层次、复杂卷积神经网络中的相似过滤器冗余
本文提出了一种新的 Centripetal SGD 方法,在卷积神经网络的训练过程中利用冗余性来便于网络修剪。C-SGD 使一些滤波器重复,从而产生理想的冗余模式,更好地组织冗余性以获得更好的性能。C-SGD 具有非常高的效率,无需微调,可