Dec, 2023

基于物理启发的修剪 - 量化联合学习准则

PDF
TL;DR通过将弹性动力学与模型压缩进行类比，提出了一个新颖的物理启发准则，用于修剪 - 量化联合学习，实现在资源受限的边缘设备上部署深度神经网络。实验证明，该准则在精度和位操作（BOPs）压缩比之间取得了良好的折中，例如，在 CIFAR10 上对 ResNet56 的位操作压缩比为 54.96 倍，并且只有 0.10％的精度下降。
pruning-quantization joint learningphysics inspired criterionmodel compressionelasticity dynamicsbit-operations compression
发现论文，激发创造
  • 可微联合剪枝和量化提高硬件效率

    我们提出了一种可微的联合剪枝和量化 (DJPQ) 方案，将神经网络压缩视为联合基于梯度的优化问题，在模型剪枝和量化之间自动地进行权衡，以实现硬件效率，相比之下，我们的方法使用户能够在单个培训过程中找到两者之间的最佳权衡。

    Jul, 2020

  • 联合修剪与通道混合精度量化用于高效的深度神经网络

    通过轻量级的基于梯度的搜索方法和硬件感知的方式，结合稀疏化和混合精度量化的优化技术，在减小延迟和内存占用方面获得 Pareto 最优的准确性与成本（即延迟或内存）之间的深度神经网络。

    Jul, 2024

  • 使用单次剪枝量化压缩深度神经网络

    本文提出了一种新颖的一次性剪枝量化（OPQ）方法，使用预先训练的模型参数解决剪枝和量化问题，并通过统一的通道量化方法提高了训练效率和压缩比。对于 AlexNet/MobileNet-V1/ResNet-50 等模型在 ImageNet 数据集上展开全面实验，结果表明该方法相对于目前最先进的技术可以获得更高的压缩比和更好的训练效率。

    May, 2022

  • 基于稀疏性视角的深度神经网络剪枝

    本文提出了 PQ Index (PQI) 作为衡量深度神经网络可压缩性的量化指标，并基于此开发了一种基于稀疏性信息的自适应裁剪算法 (SAP)，该算法在压缩效率和稳健性方面优于遗传算法等迭代型裁剪算法。

    Feb, 2023

  • 硬件感知的 DNN 压缩：通过多样化剪枝和混合精度量化

    通过联合采用修剪和量化，利用强化学习探索与低能耗相关的设计空间及其精度损失，我们提出了一种自动压缩深度神经网络的硬件感知框架，能够在嵌入式深度神经网络加速器上实现能耗最小化。实验结果表明，相比现有方法，我们的框架平均能耗降低 39%，平均精度损失为 1.7%。

    Dec, 2023

  • 一次性权重耦合学习的无需重新训练的模型量化

    通过一种一次性训练 - 搜索范式，本文研究了混合精度模型压缩的问题，并提出了一种动态冻结和信息失真缓解技术来优化位宽配置和性能下降。

    Jan, 2024

  • FCN-Pose: 简化与量化的 CNN 用于约束设备机器人姿态估计

    本研究提出一种基于压缩技术的新型卷积神经网络 (CNN)，通过修剪 (pruning) 和量化 (quantization) 技术降低其对计算和存储资源的需求。研究运行在机械臂姿态估计任务中，结果显示修剪 70% 后，参数和 FLOPS 的需求分别减少 88.86％和 94.45％，即使在高负载情况下高端设备的响应时间显着改善，输入图像处理速度从 11.71 FPS 提高到 41.9 FPS，而使用受限设备时，图像处理速度也提高了从 2.86 FPS 到 10.04 FPS。

    May, 2022

  • APQ: 网络架构、剪枝和量化策略联合搜索

    APQ 是一种用于在资源受限的硬件上高效进行深度学习推理的方法，通过联合优化神经架构、修剪策略和量化策略来处理设计空间更大的问题，同时利用全精度准确度预测器向量化至量化准确度预测器以大幅提高样本效率，其在 ImageNet 上的实验结果表明其可以以更低延迟 / 能耗降低 2 倍 / 1.3 倍的前提下获得与项代号 MobileNetV2+HAQ 相当的准确性，并比代号为 ProxylessNAS+AMC+HAQ 的分别优化方法实现更高达 2.3％的准确率，同时大幅减少 GPU 时数和 CO2 排放。

    Jun, 2020

  • 通过学习每层重要性进行混合精度神经网络量化

    该研究提出利用量化器中的可学习参数作为量化精度重要指标，通过一次整数线性规划来确定混合精度量化的最佳位宽以提高时间效率，并在多种模型中实现了 SOTA 精度。

    Mar, 2022

  • 优化量化深度神经网络的微调：基于过滤的预剪枝方法

    该研究提出了一种减小深度神经网络 (DNNs) 体积的方法 —— 使用低位表达来量化预训练模型的权重和激活数据，并提出了基于剪枝的新方法 PfQ 来解决深度中间层权重动态范围宽导致的量化误差和准确度下降的问题。

    Nov, 2020