Jan, 2021

基于 Hessian 的剪枝和最优神经植入

PDF
TL;DR本文章提出了一种新的基于 Hessian Aware Pruning 和神经植入的方法来减小神经网络模型的内存占用和浮点运算数，该方法利用二阶灵敏度作为结构化剪枝的度量标准，测试结果表明，在计算机视觉任务和自然语言处理任务中，即使 70% 的参数剪枝，模型的精度也能够在 0.1%/0.5% 以内的误差范围内，而且在头部剪枝方面效果也显著。
pruningneural networkhessian aware pruningstructured pruningneural implant
发现论文，激发创造
  • 基于 Hessian 剪枝的资源高效神经网络

    使用 FP16 精度代替 FP32 实现变异矩阵迹快速估算的剪枝方法可以加快计算速度并缩小 GPU 内存占用，在不影响模型性能的情况下，可以进一步使用 QAT 技术对模型进行压缩。

    Jun, 2023

  • 自适应锐度感知剪枝用于稳健稀疏网络

    应用自适应权重扰动和稳定正则的 AdaSAP 方法对深度学习模型进行剪枝，实现了具有鲁棒性的稀疏网络，该方法在分类和物体检测任务上表现出较高的准确性。

    Jun, 2023

  • 基于克罗内克因子分解本征基的结构化剪枝

    介绍了基于 Kronecker - 分解的特征基 (KFE) 的网络重参数化方法，并应用于基于 Hessian 的结构化剪枝方法，实现在 KFE 上进行不同权重近似独立、精确修剪和快速计算，实验证明了该方法的有效性，特别是在挑战数据集和网络上，迭代修剪版本可以在几乎没有准确度损失的情况下使模型大小减少 10 倍，FLOPs 减少 8 倍。

    May, 2019

  • 迭代基于激活的结构化剪枝

    本文针对在边缘设备上部署复杂深度学习模型的挑战，提出了两种基于激活函数的迭代剪枝方法，通过研究结构剪枝与权重剪枝方法的区别，说明结构剪枝会更适合在通用硬件上实现。与权重剪枝相比，这两种方法能更好地压缩模型，并实现更高的准确性。

    Jan, 2022

  • 硬件感知延迟削减

    通过硬件感知延迟剪枝（HALP）将结构剪枝作为全局资源分配优化问题，同时控制延迟在预定义的预算下最大化准确性。 HALP 使用延迟查找表来跟踪延迟减少潜力，使用全局显着性得分来评估准确度降低，并可以在剪枝期间非常高效地评估这两个指标，使我们能够在目标约束下重构全局结构剪枝问题，从而通过我们的增强型背包求解器解决问题，从而使 HALP 在剪枝效果和准确性效率平衡方面超越以前的工作。

    Oct, 2021

  • 基于自适应激活的结构化剪枝

    本文提出了一种自适应基于激活的结构化裁剪方法，以自动高效地生成满足用户要求的小型、准确和硬件高效的模型，它提出了迭代性结构化裁剪和自适应剪枝策略，可在不降低精度的情况下大幅减少参数和 FLOPs

    Jan, 2022

  • 基于 Hessian 感知显著性的全局 Vision Transformer 压缩

    本研究提出了一种称为 NViT 的基于 Hessian 的全局结构裁剪方法，能够比以往更高效地利用 ViT 模型的参数，使得 NViT-Base 在 ImageNet-1K 数据集上具备了比 DeiT-Base 更高的准确率、更低的 FLOPs 和参数数量以及更快的运行速度。

    Oct, 2021

  • HAWQ-V2: 基于 Hessian 感知的神经网络权重量化

    研究混合精度量化的方法，使用 Hessian 分析来解决由于过度量化而导致的模型泛化下降问题，并提出了 HAWQV2 来解决先前 HAWQV1 中出现的三个主要限制，包括使用平均值作为敏感度度量的改进版本，使用 Pareto 前沿方法进行自动性能最优的混合精度比特精度选择以及考虑混合精度激活量化。进行了对象检测，并获得了最新的最优结果。

    Nov, 2019

  • HAWQ：混合精度的神经网络海森矩阵感知量化

    本研究介绍了一种基于 Hessian 矩阵的自适应量化方法（HAWQ），可实现神经网络中各层的不同量化精度，并通过对 ResNet20、Inception-V3、ResNet50 和 SqueezeNext 模型的评测结果表明，与先前的方法相比，HAWQ 可以减小模型大小，同时提高精度。

    Apr, 2019

  • 大型语言模型的一次性敏感度感知混合稀疏剪枝

    通过基于 Hessian 灵敏度感知的混合稀疏剪枝方法，我们提出了一种剪枝 LLMs 的方法，以至少达到 50% 的稀疏度，而不需要任何重新训练，该方法适应性地分配稀疏度，减少了剪枝引起的错误，同时保持了整体稀疏度水平，并且在稀疏度极高时表现出更显著的优势，此外，我们的方法与量化兼容，从而进一步压缩 LLMs。

    Oct, 2023