EMNLPSep, 2021

快速 Transformer 的块剪枝

PDF
TL;DR本文提出了一种针对小型、快速模型的块删剪方法，可同时考虑任何大小的块并将其结构整合到微调的移动删剪范例中。这种方法可以学习删剪出底层模型的完整组件，包括注意头，比如，实验结果在速度和大小上与精简模型相比相当有竞争力，SQuAD v1 上的 2.4 倍速度、74％ 更小的 BERT，F1 减少 1%。
pre-trainingpruningdistillationclassificationgeneration
发现论文，激发创造
  • 基于 BERT 的问答模型的结构化剪枝

    本文针对自然语言处理中使用的 BERT 和 RoBERTa 模型进行了压缩，使用结构化剪枝和专门化蒸馏相结合的方法，实现了在保持高精度的同时速度大幅提升。

    Oct, 2019

  • 结构化剪枝学习紧凑而精确的模型

    提出 CoFi（粗细粒度剪枝）方法，该方法结合了粗细粒度模块的剪枝决策，并采用分层蒸馏策略将知识从未剪枝模型转移到已剪枝模型，使模型同时拥有与蒸馏方法相当的精度和延迟优势，而无需使用无标注数据。在 GLUE 和 SQuAD 数据集上的实验表明，CoFi 方法在速度和精度方面相对于以前的剪枝和蒸馏方法具有更高的效率和效果。

    Apr, 2022

  • 硬件友好的块结构剪枝优化 Transformer 大规模语言表示

    本文研究了基于 transformer 的预训练语言模型的硬件友好型块结构裁剪技术，通过加入一项称为 “留组拉索” 的优化算法来进行裁剪操作并达到高压缩率，同时实验表明该方法适用于迁移到资源受限的边缘设备上。

    Sep, 2020

  • BlockPruner：大型语言模型的细粒度剪枝

    我们提出了一种名为 BlockPruner 的新型无需训练的结构化修剪方法，通过定位多头注意力和多层感知机块中的冗余实现更精细的修剪，实验证明，与现有方法相比，BlockPruner 在各种下游任务中实现了更精确和有效的修剪。

    Jun, 2024

  • Transformer 模型的快速后训练剪枝框架

    本文提出一种基于结构化稀疏方法的快速 Transformer 模型剪枝框架，无需重新训练即可保持高准确度，在 GLUE 和 SQuAD 数据集中分别实现了 2 倍的 FLOPs 减少和 1.56 倍的推理速度提升，在单个 GPU 上不到 3 分钟即可完成模型修剪。

    Mar, 2022

  • CPU 上的快速 DistilBERT

    本文介绍了一种新的在 CPU 上创建和运行快速 Transformer 模型的流水线，利用硬件感知剪枝、知识蒸馏和量化等模型压缩技术，通过优化稀疏和量化操作库的运行时引擎来提高推理效率，创造了一个 Fast DistilBERT 模型，其通过问题回答 SQuADv1.1 基准测试表现良好，性能比现有的 Neural Magic's DeepSparse 运行时性能提高了高达 50%，比 ONNX 计算时性能提升了最多 4.1 倍。

    Oct, 2022

  • 预训练模型摘要精馏

    使用三种不同的压缩学生模型的方法（直接知识蒸馏、伪标签蒸馏和收缩和微调），对当前和过去的最先进的 PEGASUS 和 BART 模型进行压缩蒸馏，在 CNN / DailyMail 数据集上 SFT 方法表现最佳，在更抽象的 XSUM 数据集上伪标签蒸馏方法表现更好。

    Oct, 2020

  • DistilBERT：BERT 的简化版 —— 更小、更快、更便宜、更轻

    通过知识蒸馏的预训练阶段，可以将 BERT 模型的大小缩小 40％，同时保持 97％的语言理解能力并且速度提升 60％，这种方法被称为 DistilBERT，并可为边缘设备上的计算提供良好的性能

    Oct, 2019

  • 稀疏渐进蒸馏：在预训练和微调范式下解决过拟合问题

    本研究针对 pretrain-and-finetune 模式下的 transformer-based 语言模型，提出了一个新的剪枝策略，即基于误差边界的渐进式知识蒸馏，试图通过减少过拟合的风险来提高模型剪枝的效率，结果表明我们的方法在 GLUE 测试集中表现优于竞争对手。

    Oct, 2021

  • 卷积神经网络的块剪枝提高效率

    该论文介绍了一种新的网络剪枝方法，针对边缘计算环境中的深度神经网络中的块剪枝。研究方法采用直接的块移除策略来评估对分类准确性的影响，通过对 CIFAR-10、CIFAR-100 和 ImageNet 数据集以 ResNet 架构进行广泛实验，结果表明该方法在减小模型大小的同时保持高准确性方面的有效性，在网络的大部分被剪枝的情况下，尤其是在 ImageNet 上通过对 ResNet50 的剪枝时，其结果突出了该方法在维持模型大小和性能之间的最佳平衡能力，尤其是在资源有限的边缘计算场景中。

    Dec, 2023