Nov, 2021

一次性剪枝：稀疏预训练语言模型

PDF
TL;DR通过结合权重剪枝和模型蒸馏技术，我们提出了一种新的方法，用于训练稀疏的预训练变压器语言模型，这些模型可以快速高效地用于各种自然语言处理任务，并保持其稀疏性，同时我们进一步使用量化感知训练来将这些稀疏模型压缩为 8 位精度。我们证明了我们的稀疏预训练 BERT-Base、BERT-Large 和 DistilBERT 可以在多种自然语言任务中以极小的准确度损失传输其知识，是目前压缩 - to - 准确度比率最好的压缩 BERT-Base、BERT-Large 和 DistilBERT 方法。
transformer-based language modelscompression algorithmspre-trained modelsmodel distillationquantization-aware training
发现论文，激发创造
  • CPU 上的快速 DistilBERT

    本文介绍了一种新的在 CPU 上创建和运行快速 Transformer 模型的流水线，利用硬件感知剪枝、知识蒸馏和量化等模型压缩技术，通过优化稀疏和量化操作库的运行时引擎来提高推理效率，创造了一个 Fast DistilBERT 模型，其通过问题回答 SQuADv1.1 基准测试表现良好，性能比现有的 Neural Magic's DeepSparse 运行时性能提高了高达 50%，比 ONNX 计算时性能提升了最多 4.1 倍。

    Oct, 2022

  • Sparse*BERT：稀疏模型具有鲁棒性

    本文研究了使用渐进式非结构化剪枝模型进行领域迁移和任务迁移的有效性，结果表明，使用泛领域蒙版语言模型进行预训练的模型可以在不需要大量超参数调整或特殊方法的情况下，成功应用于新领域和任务，同时表明使用非结构化剪枝技术的推断速度与参数数量大幅减少

    May, 2022

  • 重构网络剪枝 -- 在预训练和微调范式下

    本论文研究在 NLP 领域中，对预训练的 Transformers 模型采取稀疏剪枝 (sparse pruning) 技术，相较于对其通道与层数的压缩，稀疏剪枝的效果更为显著。通过基于 GLUE 数据集的实验比较，证明本论文所采用的知识感知的稀疏剪枝方法可以实现 20 倍的参数 / FLOPs 压缩并且不会明显损失模型的性能。

    Apr, 2021

  • 硬件友好的块结构剪枝优化 Transformer 大规模语言表示

    本文研究了基于 transformer 的预训练语言模型的硬件友好型块结构裁剪技术，通过加入一项称为 “留组拉索” 的优化算法来进行裁剪操作并达到高压缩率，同时实验表明该方法适用于迁移到资源受限的边缘设备上。

    Sep, 2020

  • BERT 自动混合精度量化搜索

    本文提出了一种针对 BERT 模型的自动混合精度量化框架，可以在子组水平同时进行量化和修剪，实现了压缩模型和保持同样性能的目标，并结合 DistilBERT 等方法获得了极轻量级模型。

    Dec, 2021

  • 使用低比特 NxM 稀疏压缩预训练 Transformers 以增强自然语言理解

    本文提出了新的框架 NxMiFormer，同时使用 ADMM 和 STE-based QAT 进行稀疏化和量化，通过搜索算法找到最优的异构压缩配置，使预处理 Transformer 网络在 NLU 测试中达到 93% 的压缩率并保持 98% 以上的准确性。

    Jun, 2022

  • 自然语言理解的量化感知和张量压缩 Transformer 训练

    该论文提出了一种量化感知张量压缩训练方法，通过将 Transformer 模型的嵌入层和线性层压缩成小的低秩张量核，进一步获得低精度的模型表示进行端到端和蒸馏 - based 训练，并应用层与层的蒸馏方法将预训练的 Transformer 模型转换为量化和张量压缩的学生模型以提高收敛速度，并在两个自然语言理解任务中表现出高达 63 倍的压缩比、几乎无损的精度损失和显著的推断和训练加速。

    Jun, 2023

  • 最优 BERT 外科医生：可扩展和精确的二阶修剪方法，适用于大型语言模型

    本文研究了 Transformer-based 语言模型的压缩方法，提出了基于 oBERT 的权重剪枝方法并将其应用在 BERT 模型的训练和 fine-tuning 中，同时利用多种压缩方法得到高压缩模型并在边缘设备上进行了部署。

    Mar, 2022

  • 基于 BERT 的问答模型的结构化剪枝

    本文针对自然语言处理中使用的 BERT 和 RoBERTa 模型进行了压缩，使用结构化剪枝和专门化蒸馏相结合的方法，实现了在保持高精度的同时速度大幅提升。

    Oct, 2019

  • 紧凑型医学变压器的有效性

    本文介绍通过知识蒸馏和 Masked Language Modelling (MLM) 目标函数得到的六个轻量化模型 (BioDistilBERT、BioTinyBERT、BioMobileBERT、DistilBioBERT、TinyBioBERT 和 CompactBioBERT)，并在三个生物医学任务中进行评估。实验表明，这些模型与体积更大的 BioBERT-v1.1 性能相当，其速度更快而且更易于使用。

    Sep, 2022