该论文探讨了神经网络压缩技术所产生的 Compression Identified Exemplars(CIE)对算法偏差的影响,并提议将 CIE 作为人类审核工具,以检查数据集中最具挑战性的示例。
Oct, 2020
本文提出了 PQ Index (PQI) 作为衡量深度神经网络可压缩性的量化指标,并基于此开发了一种基于稀疏性信息的自适应裁剪算法 (SAP),该算法在压缩效率和稳健性方面优于遗传算法等迭代型裁剪算法。
Feb, 2023
该论文介绍了一种名为 “深度压缩” 的技术,通过三阶段的网络压缩流程 —— 剪枝、量化和霍夫曼编码 —— 可以将神经网络模型的存储资源需求减小 35 到 49 倍,而同时不影响网络的准确性,该技术可以在嵌入式系统中使用,可以极大地提升模型的应用性能。
Oct, 2015
该研究系统地调查和表征神经网络剪枝在计算机视觉中引起偏差的现象,提出基于未压缩模型的易于使用的标准,以确定裁剪是否会增加偏差,并确定在压缩后最容易受到偏差预测影响的样本。
Apr, 2023
通过实验,探究了压缩版和未压缩版深度神经网络对抗样本的传递性,并发现折叠模型生成的对抗样本对未压缩模型也很有效,但量化模型的传递性与整数精度高度敏感。
Sep, 2018
本文介绍了一种新的深度神经网络压缩方法,在学习阶段增加额外的正则化项来减小全连接层的参数量,并结合 PQ 权重的量化以更节约存储空间。在 MNIST 和 CIFAR10 数据集上进行评估,与现有方法相比,压缩率显著提高。
Sep, 2015
本文介绍了深度神经网络中两种压缩技术 —— 剪枝和量化,比较了它们的优劣,并且提出了相关的压缩网络的实用指南。
Jan, 2021
本文对深度神经网络模型压缩和加速的最新技术进行了回顾,介绍了参数修剪、量化、转移 / 紧凑卷积滤镜和知识蒸馏等四类技术及其表现、应用、优点和缺点,同时探讨了评估矩阵、评估模型表现所使用的主要数据集和最近的基准努力,并讨论了面临的挑战和未来方向。
Oct, 2017
对于神经网络模型诊断胸部 X 光片中的胸部疾病的剪枝效果进行首次分析,发现剪枝对模型行为的影响,包括标签噪声的增加、图像质量的降低和诊断难度的增加。
Aug, 2023
本文提出了一种基于修剪框架的深度神经网络压缩方法,实现了自动确定各个层稀疏度的功能,并通过在两种 DNN 架构上进行图像分类任务的实验验证了该方法的有效性。
Jan, 2019