修枝视觉模型存在的偏差:深入分析与对策
本文探讨在资源受限环境下,通过模型剪枝来压缩神经网络模型的方法,提出了一种简单、直接、易于应用的逐渐剪枝技术,并在多个模型 / 数据集上进行了比较,发现大型稀疏模型在保持较高精度的同时可减少 10 倍的参数数量。
Oct, 2017
在数据密集型模型的时代,精心选择训练数据对于减轻深度学习的昂贵成本至关重要。本文通过删除冗余或无信息的样本来解决这个问题,并提出了一个公平感知的修剪方法,其在标准计算机视觉基准上展示了良好的性能,与现有算法形成鲜明对比。
Apr, 2024
本文提出了一种基于滤波器减少方法的 CNNs 加速方法,它不依赖稀疏卷积库,通过移除对输出准确性影响较小的整个滤波器及其连接的特征图,大大降低了计算成本,在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%,并且通过重新训练网络可以接近原始准确性。
Aug, 2016
该论文探讨了神经网络压缩技术所产生的 Compression Identified Exemplars(CIE)对算法偏差的影响,并提议将 CIE 作为人类审核工具,以检查数据集中最具挑战性的示例。
Oct, 2020
本文研究了网络剪枝策略的扩展,力图在保留网络的鲁棒性的同时设计更紧凑的神经网络,并基于对现有策略的缺陷进行改进,最终在 CIFAR-10 数据集上取得了不俗的成绩。
Jun, 2019
本文通过剪枝卷积神经网络来减少其复杂性,进而增加其可解释性。通过实验探究了不同的剪枝比率对于卷积神经网络的可解释性的影响,发现较低的压缩率对可解释性有积极影响,而较高的压缩率则会导致负面影响,并挖掘了提高模型性能和可解释性的 “最佳点”。
Feb, 2023
使用标准的计算机视觉和自然语言处理稀疏基准测试,探讨高稀疏性对模型训练的影响,提供了一种解决有关稀疏训练困难的新方法,并在高稀疏性环境下实现了在视觉模型和语言模型上最先进的结果。
Aug, 2023
通过剪枝实现减少模型存储和计算操作,防止 Deep Learning 或 Deep Neural Networks (DNNs) 的隐私泄露,提高 DNNs 的抗干扰性和准确性
Aug, 2020
本文介绍了一种使用稀疏双下降方法鉴定和表征与分类任务相关的剪枝模型,该方法对网络大小变化具有鲁棒性,并表明剪枝模型不仅具有更好的计算性能,而且可以更好地表示学习中的不确定性。
Jun, 2023