COLINGApr, 2020

LadaBERT：通过混合模型压缩实现 BERT 的轻量化适应

PDF
TL;DR本篇论文提出了一种混合模型压缩方法 LadaBERT，结合权重剪枝、矩阵分解和知识蒸馏等技术，可以在保持较高准确性的同时将训练开销减少一个数量级。LadaBERT 是一种适用于在线服务的轻量级 BERT 模型，可以更好地满足用户请求的低延迟需求。
bertmodel compressionknowledge distillationladabertnatural language understanding
发现论文，激发创造
  • ROSITA: 集成技术优化的 BERT 模型压缩

    本文介绍三种压缩方法 (weight pruning、low-rank factorization 和 knowledge distillation)，并探索了有关模型架构、KD 策略、修剪频率和学习率计划等设计方案。实验结果表明，我们最佳的压缩模型，ROSITA，在保持 GLUE 基准的五个任务的 98.5% 性能的同时，比 BERT 小 7.5 倍，优于以前类似参数预算的 BERT 压缩方法。

    Mar, 2021

  • 来自混合词汇训练的极小 BERT 模型

    本文通过使用混合词汇训练来对齐师生嵌入，提出了一种压缩 BERT-LARGE 的知识蒸馏方法，使其成为一个具有更小词汇表和隐藏维数的无任务模型，这个模型的经验结果表明它比其他压缩 BERT 模型在语言理解基准和实际对话任务中具有更好的性价比。

    Sep, 2019

  • AdaBERT: 可适应任务的 BERT 压缩与可微分神经架构搜索

    本研究提出了一种名为 AdaBERT 的压缩方法，利用可微分神经结构搜索自动为特定任务压缩 BERT，以达到速度和参数大小的较优权衡，并通过几个 NLP 任务的评估表明，能够保持与 BERT 相当的性能，但速度快 12.7x 到 29.3x，参数大小也小 11.5x 到 17.0x。

    Jan, 2020

  • 基于 Transformer 的大规模模型压缩：以 BERT 为例的案例研究

    本文总结了压缩预训练 Transformer 模型的研究进展，尤其关注流行的 BERT 模型的最佳压缩实践和方法，提出未来发展的方向，以达到轻量、高准确性和通用性的自然语言处理模型。

    Feb, 2020

  • 紧凑型医学变压器的有效性

    本文介绍通过知识蒸馏和 Masked Language Modelling (MLM) 目标函数得到的六个轻量化模型 (BioDistilBERT、BioTinyBERT、BioMobileBERT、DistilBioBERT、TinyBioBERT 和 CompactBioBERT)，并在三个生物医学任务中进行评估。实验表明，这些模型与体积更大的 BioBERT-v1.1 性能相当，其速度更快而且更易于使用。

    Sep, 2022

  • 一次性剪枝：稀疏预训练语言模型

    通过结合权重剪枝和模型蒸馏技术，我们提出了一种新的方法，用于训练稀疏的预训练变压器语言模型，这些模型可以快速高效地用于各种自然语言处理任务，并保持其稀疏性，同时我们进一步使用量化感知训练来将这些稀疏模型压缩为 8 位精度。我们证明了我们的稀疏预训练 BERT-Base、BERT-Large 和 DistilBERT 可以在多种自然语言任务中以极小的准确度损失传输其知识，是目前压缩 - to - 准确度比率最好的压缩 BERT-Base、BERT-Large 和 DistilBERT 方法。

    Nov, 2021

  • TinyBERT：自然语言理解的 BERT 蒸馏模型

    通过新的 Transformer 蒸馏方法和两阶段 TinyBERT 学习框架，可以有效地将大型 BERT 中的知识转移到小型 TinyBERT，从而在维持准确性的同时加速推理和减少模型大小，TinyBERT 在短语匹配任务的 GLUE 数据集上取得了 96.8% 以上的性能，模型大小约为 BERT 的 1/8，推理速度约为 BERT 的 1/10。

    Sep, 2019

  • NAS-BERT: 任务无关和自适应尺寸 BERT 压缩及神经架构搜索

    本文提出了一种基于神经网络结构搜索 (neural architecture search, NAS) 的 BERT 压缩方法 NAS-BERT，其可输出多个带有不同大小和延迟的压缩模型，适用于不同的内存和延迟限制，并且不需要针对特定的下游任务进行调整。该方法在 GLUE 和 SQuAD 数据集上的实验表明，NAS-BERT 相比以前的方法具有更好的准确性，可以直接应用于具有不同内存或延迟要求的不同下游任务。

    May, 2021

  • LRC-BERT：用于自然语言理解的潜在表示对比知识蒸馏

    本文提出了一种基于对比学习的知识蒸馏方法 LRC-BERT，并引入渐变扰动训练架构以提高其鲁棒性。通过验证 GLUE 基准测试上的 8 个数据集，表明该方法的性能优于现有最先进的方法，证明了该方法的有效性。

    Dec, 2020

  • Theseus 的 BERT：通过渐进式模块替换压缩 BERT

    本文提出了一种使用渐进模块替换的新型模型压缩方法来有效压缩 BERT。通过在训练中逐步增加替换的概率，使得我们的方法在原始和紧凑模型之间带来了更深入的交互，同时不需要引入任何额外的损失函数，在 GLUE 基准测试中，我们的方法优于现有的知识蒸馏方法，展示了一种新的模型压缩视角。

    Feb, 2020