本文提出了一种基于神经网络结构搜索 (neural architecture search, NAS) 的 BERT 压缩方法 NAS-BERT，其可输出多个带有不同大小和延迟的压缩模型，适用于不同的内存和延迟限制，并且不需要针对特定的下游任务进行调整。该方法在 GLUE 和 SQuAD 数据集上的实验表明，NAS-BERT 相比以前的方法具有更好的准确性，可以直接应用于具有不同内存或延迟要求的不同下游任务。

May, 2021

本篇论文提出了一种混合模型压缩方法 LadaBERT，结合权重剪枝、矩阵分解和知识蒸馏等技术，可以在保持较高准确性的同时将训练开销减少一个数量级。LadaBERT 是一种适用于在线服务的轻量级 BERT 模型，可以更好地满足用户请求的低延迟需求。

Apr, 2020

本文提出了 DACT-BERT，一种用于增加自然语言处理的计算效率的自适应计算时间策略，该策略通过控制 Transformer block 的数量来改善 BERT 模型的计算效率。实验结果表明，相较于基线模型，DACT-BERT 在减少计算资源的情况下表现出色，并在其他计算资源受限的情况下也具有竞争力。

Sep, 2021

本文总结了压缩预训练 Transformer 模型的研究进展，尤其关注流行的 BERT 模型的最佳压缩实践和方法，提出未来发展的方向，以达到轻量、高准确性和通用性的自然语言处理模型。

Feb, 2020

本文介绍了一种名为 DynaBERT 的新型动态 BERT 模型，其通过选择自适应宽度和深度来灵活调整模型大小和延迟，以达到不同硬件性能的要求，并通过知识蒸馏过程，从全尺寸模型到小子网络，实现自适应宽度和深度。综合实验表明，它具有可比较的性能，并且在较小的宽度和深度下始终优于现有的 BERT 压缩方法。

Apr, 2020

本文提出了一种针对 BERT 模型的自动混合精度量化框架，可以在子组水平同时进行量化和修剪，实现了压缩模型和保持同样性能的目标，并结合 DistilBERT 等方法获得了极轻量级模型。

Dec, 2021

本文介绍了 MobileBERT，它是一种用于压缩和加速流行的 BERT 模型的方法，通过使用瓶颈结构和仔细设计的自我关注和前馈网络之间的平衡来实现。实证研究表明，MobileBERT 比 BERT_BASE 小 4.3 倍，比 BERT_BASE 快 5.5 倍，并在众所周知的基准测试中取得了有竞争力的结果。

Apr, 2020

通过对神经架构搜索的最新突破应用，我们从 Devlin 等人（2018）的 BERT 架构中提取出一组最优子集，称为 “Bort”，它的大小仅为原始 BERT-large 架构的 5.5％，网络大小为 16％。在 CPU 上快 7.9 倍，并取得了 0.3 ％至 31％之间的性能提升。

Oct, 2020

本研究使用结构化剪枝方法对卷积模型进行压缩，比 BERT 模型的性能差异不大，模型参数少于 100K，适用于移动设备，并在 CPU 上比 DistilBERT 快 63 倍。

Jun, 2020

本文介绍三种压缩方法 (weight pruning、low-rank factorization 和 knowledge distillation)，并探索了有关模型架构、KD 策略、修剪频率和学习率计划等设计方案。实验结果表明，我们最佳的压缩模型，ROSITA，在保持 GLUE 基准的五个任务的 98.5% 性能的同时，比 BERT 小 7.5 倍，优于以前类似参数预算的 BERT 压缩方法。

Mar, 2021