Oct, 2021

硬件感知延迟削减

PDF
TL;DR通过硬件感知延迟剪枝（HALP）将结构剪枝作为全局资源分配优化问题，同时控制延迟在预定义的预算下最大化准确性。 HALP 使用延迟查找表来跟踪延迟减少潜力，使用全局显着性得分来评估准确度降低，并可以在剪枝期间非常高效地评估这两个指标，使我们能够在目标约束下重构全局结构剪枝问题，从而通过我们的增强型背包求解器解决问题，从而使 HALP 在剪枝效果和准确性效率平衡方面超越以前的工作。
发现论文，激发创造
  • 基于延迟引导的层自适应结构化剪枝

    通过使用延迟协同损失函数来指导网络修剪，我们提出了一个全局重要性评分 SP-LAMP，并利用组背包求解器在延迟约束下最大化 SP-LAMP 得分，取得了优于传统方法的结果，实验结果表明，我们的算法在确保准确性和 FLOPs 的情况下，达到了比替代方法更低的延迟。

    May, 2023

  • 多维剪枝：带时延约束的通道、层和块剪枝

    提出了一种新的多维修剪框架，可以同时优化通道、层和块的修剪，并满足延迟约束，通过将修剪重新构建为混合整数非线性规划 (MINLP)，能够高效地确定最佳修剪结构。该方法在大规模修剪比例下取得了显著的改进。

    Jun, 2024

  • FPGA 资源感知的实时神经网络结构剪枝

    通过硬件为中心的修剪公式，我们在神经网络中减少了计算和存储的使用，并在实时推理中取得了显著的资源利用率改进。

    Aug, 2023

  • 硬件适应元学习在 NAS 中用于高效延迟预测的帮助

    提出了 Hardware-adaptive Efficient Latency Predictor (HELP) 作为一种基于元学习的硬件自适应延迟预测方法，帮助神经架构搜索确定适用于目标设备的模型，并在延迟限制下提高了基础 NAS 方法的时间性能。

    Jun, 2021

  • 迭代基于激活的结构化剪枝

    本文针对在边缘设备上部署复杂深度学习模型的挑战，提出了两种基于激活函数的迭代剪枝方法，通过研究结构剪枝与权重剪枝方法的区别，说明结构剪枝会更适合在通用硬件上实现。与权重剪枝相比，这两种方法能更好地压缩模型，并实现更高的准确性。

    Jan, 2022

  • 通过神经架构搜索对预训练语言模型进行结构修剪

    基于预训练语言模型和神经架构搜索的结构修剪方法，通过多目标策略实现对子网络的灵活压缩，提高模型效率。

    May, 2024

  • 基于自适应激活的结构化剪枝

    本文提出了一种自适应基于激活的结构化裁剪方法，以自动高效地生成满足用户要求的小型、准确和硬件高效的模型，它提出了迭代性结构化裁剪和自适应剪枝策略，可在不降低精度的情况下大幅减少参数和 FLOPs

    Jan, 2022

  • 基于 Hessian 的剪枝和最优神经植入

    本文章提出了一种新的基于 Hessian Aware Pruning 和神经植入的方法来减小神经网络模型的内存占用和浮点运算数，该方法利用二阶灵敏度作为结构化剪枝的度量标准，测试结果表明，在计算机视觉任务和自然语言处理任务中，即使 70% 的参数剪枝，模型的精度也能够在 0.1%/0.5% 以内的误差范围内，而且在头部剪枝方面效果也显著。

    Jan, 2021

  • 是滤波剪枝，还是层剪枝，这是一个问题

    本文提出了 LayerPrune 框架，相较于传统基于 filter 的剪枝方法，LayerPrune 基于不同的剪枝指标实现了更高的延迟降低，并使用相同的 filter 重要性判定剪枝最不重要的层，较好地平衡了准确率和删除率。

    Jul, 2020

  • DHP: 通过超网实现可微元剪枝

    本文介绍了一种通过超级网络进行自动网络剪枝的可微分剪枝方法。使用该方法进行图像分类、单幅图像超分辨率和降噪等各种网络的实验结果证实了该方法的有效性。

    Mar, 2020