本文针对神经网络剪枝技术在高稀疏度领域的应用,提出了新的有效稀疏度概念,重定义了性能评价指标,同时开发了一个成本较低的扩展工具,通过评估各种剪枝算法的绝对和相对性能表现,证明新的评价框架下与基于初始化的剪枝算法相比,随机剪枝仍然是一种可行的方法。
Jul, 2021
本文提出了 PQ Index (PQI) 作为衡量深度神经网络可压缩性的量化指标,并基于此开发了一种基于稀疏性信息的自适应裁剪算法 (SAP),该算法在压缩效率和稳健性方面优于遗传算法等迭代型裁剪算法。
Feb, 2023
本文评估了三种在深度神经网络中引入稀疏性的技术,并对两个大规模的学习任务进行了严格评估,结果表明,简单的幅度剪枝方法可以获得相当或更好的性能,而不能从头开始训练稀疏结构,并强调了建立大规模基准测试的必要性。
Feb, 2019
通过使用信息论分歧度量,本文提出了一个基于深度神经网络 (DNNs) 权重的概率潜在空间的新的理论框架,解释了网络稀疏性与性能之间的关系,并通过实验证明了这个理论的结果。
Feb, 2024
该论文综述深度神经网络在物联网应用中的压缩技术,并将现有方法划分为五个类别,包括网络修剪、稀疏表现、位精度、知识蒸馏和杂项,并探讨每个类别的挑战和未来方向。
Oct, 2020
通过对神经网络剪枝和量化技术的研究,我们发现模型容量的减少会对数据分布尾部产生不成比例的影响,这在不同图片和类别的表现上表现出明显的差异。
Nov, 2019
通过对特征图和卷积核级别进行修剪,可以减少深度卷积神经网络的计算复杂性,而且在 CIFAR-10 数据集上的实验证明,在保持基线网络误分类率不到 1% 的情况下,可以在卷积层中引入超过 85% 的稀疏性。
Oct, 2016
本文探讨神经网络剪枝问题,在对历史文献进行回顾及常见假设进行分析后,提出了一种新型的神经元全剪枝方法,得出存在许多基于剪枝算法的固有缺陷及为减少计算复杂性而做出的权衡。另外,还发现剪去 40-70% 的神经元实际上对学习表示形式并没有太大的影响。
Jan, 2017
本文介绍了一种基于预先训练网络的数据自由网络压缩方法,该方法采用分层压缩技术、量化和修剪技术,能够实现高精度、高效率的对神经网络进行压缩,还能与高效的数据生成方法相结合以更进一步提高压缩结果。
Nov, 2020
本文提出了一种新型的卷积神经网络压缩算法,通过利用网络层级复杂性,设计了三种剪枝模式:参数感知型、浮点运算量感知型和内存感知型,以在低功耗设备上实现高效率的模型压缩和加速,并在智能农业,智能医疗和智能工厂等应用中表现出了极高的性能表现。
Aug, 2022