Apr, 2023

多任务深度神经网络的结构剪枝

PDF
TL;DR本文研究了定结构剪枝在多任务深度神经网络模型中的有效性。通过使用基于现有单任务筛选剪枝标准和基于多任务学习筛选剪枝标准，采用迭代剪枝策略进行剪枝，本文表明在参数数目相似的情况下，与快速单任务 DNN 相比，DNN 多任务可以通过精心的超参数调整实现相似的性能，迭代权重剪枝可能不是实现良好性能剪裁模型的最好方式。
发现论文，激发创造
  • 基于张量处理器的卷积网络结构模型剪枝

    本研究使用 VGG-16 模型作为示例，测量了各种结构模型修剪方法和数据集（CIFAR-10 和 ImageNet）在 Tensor Processing Units（TPUs）上的准确性和效率之间的权衡，使用 TensorFlow2 开发了一个结构模型修剪库以在 TPUs 上显着提高模型内存使用和速度而不失准确性，这尤其适用于较小的数据集（如 CIFAR-10）。

    Jul, 2021

  • 有限任务数据下的结构化剪枝迁移学习

    结合结构化修剪和迁移学习的框架可减小大型预训练模型，并改善修剪模型在基线上的泛化性能。

    Nov, 2023

  • 深度卷积神经网络的结构化剪枝

    使用结构化稀疏技术、粒子滤波方法和固定点优化技术对深度神经网络进行了精简，优化后可在嵌入式计算机和硬件系统上提供更加高效和优化的实现。

    Dec, 2015

  • 基于自适应激活的结构化剪枝

    本文提出了一种自适应基于激活的结构化裁剪方法，以自动高效地生成满足用户要求的小型、准确和硬件高效的模型，它提出了迭代性结构化裁剪和自适应剪枝策略，可在不降低精度的情况下大幅减少参数和 FLOPs

    Jan, 2022

  • 细粒度结构化稀疏感知图像修复

    本文提出了一种新的修剪方法，用于在不影响恢复精度的情况下减小图像修复网络的尺寸，该方法根据每个层的不同计算复杂度和性能要求确定 N:M 结构稀疏的修剪比，通过大量的实验结果表明，该方法在超分辨率和去模糊任务中的表现优于以前的修剪方法。

    Apr, 2022

  • 结构化剪枝中连续松弛的泛化

    使用结构化剪枝方法，在不降低推理准确度的情况下，通过算法的网络增强、剪枝、子网络合并和移除，实现了高达 93% 的稀疏度与 95% FLOPs 的减少，同时在分类和分割问题上超过了先进水平，并且避免了在 GPU 上进行计算昂贵的稀疏矩阵运算。

    Aug, 2023

  • 探究多语言预训练模型的结构剪枝：设置、算法和效率

    本研究评估了基于结构化剪枝在多语言预训练语言模型上的三个方面：设置、算法和效率，并通过在九个下游任务中的实验展示了一些反直觉现象。为了方便各个稀疏度水平上的比较，我们提出了一种简单的方法 —— 动态稀疏化，它可以让模型只需要训练一次就能适应不同的模型大小。我们希望这项工作填补了关于多语言预训练模型上的结构化剪枝研究的空白，并为未来的研究提供启示。

    Apr, 2022

  • 基于模型的深度学习的结构化剪枝算法

    通过引入结构修剪算法（SPADE）来降低计算复杂性，从而实现基于模型的深度学习网络（MBDL）在大规模应用中的可适用性。

    Nov, 2023

  • 结构剪枝：任何架构，任何框架，任何时间

    结构化修剪技术 (SPA) 是一种适用于不同架构、框架和修剪标准的多功能架构修剪框架，通过使用标准化计算图和 ONNX 表示法来实现对神经网络的修剪，并通过分组级别的重要性估计方法来进行修剪。在对比实验中，SPA 在不同架构、流行框架和不同修剪时间上表现出与现有技术相当的修剪性能。OBSPA 是一种无需微调或校准数据即可实现最先进的修剪结果的算法。

    Mar, 2024

  • 重新思考网络剪枝的价值

    本研究发现，在针对低资源设置中减少深度模型推理成本的网络修剪过程中，训练大模型通常不是获得高效终端模型的必要条件，学到的 “重要” 权重通常对小模型没有用，修剪的架构本身比继承的 “重要” 权重更重要，并且此方法可作为架构搜索范式。本文还比较了 “Lottery Ticket Hypothesis”，发现在最佳学习率下，与随机初始化相比，其 “获胜券” 初始化并未带来提高。

    Oct, 2018