ICCVAug, 2023

统一的无数据压缩：剪枝和量化无需微调

PDF
TL;DR提出了一种名为 Unified Data-Free Compression（UDFC）的新框架，它能够在没有数据和微调过程的情况下同时进行修剪和量化，从而减少神经网络的推理时间和内存占用。在大规模图像分类任务上评估 UDFC，与各种网络架构和压缩方法相比，获得了显著的改进。
structured pruningquantizationdata-free methodsunified data-free compressionimage classification
发现论文，激发创造
  • 通过混合精度补偿实现无数据量化，无需微调

    本文提出了一种数据自由的混合精度补偿方法，通过数学公式对预训练的全精度模型和其逐层混合精度量化模型之间的重构损失进行最小化，无需任何数据和微调过程即可实现超低精度量化模型的更高精度。

    Jul, 2023

  • 使用单次剪枝量化压缩深度神经网络

    本文提出了一种新颖的一次性剪枝量化（OPQ）方法，使用预先训练的模型参数解决剪枝和量化问题，并通过统一的通道量化方法提高了训练效率和压缩比。对于 AlexNet/MobileNet-V1/ResNet-50 等模型在 ImageNet 数据集上展开全面实验，结果表明该方法相对于目前最先进的技术可以获得更高的压缩比和更好的训练效率。

    May, 2022

  • 深度神经网络加速的修剪与量化：一份调查报告

    本文介绍了深度神经网络中两种压缩技术 —— 剪枝和量化，比较了它们的优劣，并且提出了相关的压缩网络的实用指南。

    Jan, 2021

  • 深度压缩：剪枝、量化训练和霍夫曼编码压缩深度神经网络

    该论文介绍了一种名为 “深度压缩” 的技术，通过三阶段的网络压缩流程 —— 剪枝、量化和霍夫曼编码 —— 可以将神经网络模型的存储资源需求减小 35 到 49 倍，而同时不影响网络的准确性，该技术可以在嵌入式系统中使用，可以极大地提升模型的应用性能。

    Oct, 2015

  • AutoDFP：通过通道相似重建自动无数据修剪

    我们提出了一种自动剪枝和重构的无数据方法（AutoDFP），该方法基于强化学习，通过评估每层通道的相似性来指导网络的剪枝和重构过程，并在多个数据集上实现了令人印象深刻的压缩结果。

    Mar, 2024

  • 联合修剪与通道混合精度量化用于高效的深度神经网络

    通过轻量级的基于梯度的搜索方法和硬件感知的方式，结合稀疏化和混合精度量化的优化技术，在减小延迟和内存占用方面获得 Pareto 最优的准确性与成本（即延迟或内存）之间的深度神经网络。

    Jul, 2024

  • 压缩模型通用攻击的鲁棒性和可转移性

    本文研究神经网络压缩、优化技术如剪枝、量化对抗攻击的影响，并比较分析了压缩模型与未压缩模型的对抗攻击鲁棒性，发现不同压缩方法存在差异，并且不同应用具有不同表现。

    Dec, 2020

  • 逐层数据无关 CNN 压缩

    本文介绍了一种基于预先训练网络的数据自由网络压缩方法，该方法采用分层压缩技术、量化和修剪技术，能够实现高精度、高效率的对神经网络进行压缩，还能与高效的数据生成方法相结合以更进一步提高压缩结果。

    Nov, 2020

  • 硬件感知的 DNN 压缩：通过多样化剪枝和混合精度量化

    通过联合采用修剪和量化，利用强化学习探索与低能耗相关的设计空间及其精度损失，我们提出了一种自动压缩深度神经网络的硬件感知框架，能够在嵌入式深度神经网络加速器上实现能耗最小化。实验结果表明，相比现有方法，我们的框架平均能耗降低 39%，平均精度损失为 1.7%。

    Dec, 2023

  • 生成式低比特宽度无数据量化

    本文提出了一种简单而有效的方法，叫做生成式低比特数据无关量化 (GDFQ)，通过使用预训练模型中的分类边界知识和分布信息，利用知识匹配生成器生成有意义的虚假数据，从而消除数据依赖负担，来量化模型。在三个数据集上的广泛实验证明了本方法的有效性，并且在 4 位量化上的精确性要比现有的数据无关量化方法高得多。

    Mar, 2020