MobileBERT：一种紧凑型的面向资源受限设备的通用任务 BERT 模型

ACLApr, 2020

MobileBERT：一种紧凑型的面向资源受限设备的通用任务 BERT 模型

MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices

Zhiqing Sun, Hongkun Yu, Xiaodan Song, Renjie Liu, Yiming Yang...

TL;DR本文介绍了 MobileBERT，它是一种用于压缩和加速流行的 BERT 模型的方法，通过使用瓶颈结构和仔细设计的自我关注和前馈网络之间的平衡来实现。实证研究表明，MobileBERT 比 BERT_BASE 小 4.3 倍，比 BERT_BASE 快 5.5 倍，并在众所周知的基准测试中取得了有竞争力的结果。

Abstract

natural language processing (NLP) has recently achieved great success by using huge pre-trained models with hundreds of millions of parameters. However, these models suffer from heavy model sizes and high latency such that they cannot be deployed to resource-limited mobile devices. In

natural language processing mobilebert compression acceleration bert model

发现论文，激发创造

边缘设备上的量化 Transformer 语言模型实现

大规模基于 transformer 的模型如 BERT，可以转换为针对资源受限边缘设备优化的 FlatBuffer 格式，用于声誉分析等任务，其性能较好且具有隐私保护特性。

Oct, 2023

在资源受限嵌入式设备中部署 BERT NLP 模型的挑战探索

通过对 BERT-based 模型在不同资源限制和准确度预算下的实证研究，发现一个最优资源和准确度平衡点，帮助设计者在替代的 BERT-based 架构中做出明智的选择，节省显著的开发时间和精力。

Apr, 2023

紧凑型医学变压器的有效性

本文介绍通过知识蒸馏和 Masked Language Modelling (MLM) 目标函数得到的六个轻量化模型 (BioDistilBERT、BioTinyBERT、BioMobileBERT、DistilBioBERT、TinyBioBERT 和 CompactBioBERT)，并在三个生物医学任务中进行评估。实验表明，这些模型与体积更大的 BioBERT-v1.1 性能相当，其速度更快而且更易于使用。

Sep, 2022

MobileNMT：使 15MB 和 30ms 内进行翻译成为可能

本文提出 MobileNMT，这是一个可以在移动设备上进行翻译的系统，该系统通过一系列的模型压缩原则与量化相结合来实现，与现有系统相比，其速度提高了 47 倍，节省了 99.5% 的内存，只损失了 11.6% 的 BLEU。

Jun, 2023

来自混合词汇训练的极小 BERT 模型

本文通过使用混合词汇训练来对齐师生嵌入，提出了一种压缩 BERT-LARGE 的知识蒸馏方法，使其成为一个具有更小词汇表和隐藏维数的无任务模型，这个模型的经验结果表明它比其他压缩 BERT 模型在语言理解基准和实际对话任务中具有更好的性价比。

Sep, 2019

基于 Transformer 的大规模模型压缩：以 BERT 为例的案例研究

本文总结了压缩预训练 Transformer 模型的研究进展，尤其关注流行的 BERT 模型的最佳压缩实践和方法，提出未来发展的方向，以达到轻量、高准确性和通用性的自然语言处理模型。

Feb, 2020

MicroBERT：低资源单语 BERT 的参数减少和多任务学习的有效训练

本研究探讨了两种技术，以在低资源设置中训练单语言 TLM，结果表明 MicroBERT 模型能够对下游任务评估进行显著改善。

Dec, 2022

NAS-BERT: 任务无关和自适应尺寸 BERT 压缩及神经架构搜索

本文提出了一种基于神经网络结构搜索 (neural architecture search, NAS) 的 BERT 压缩方法 NAS-BERT，其可输出多个带有不同大小和延迟的压缩模型，适用于不同的内存和延迟限制，并且不需要针对特定的下游任务进行调整。该方法在 GLUE 和 SQuAD 数据集上的实验表明，NAS-BERT 相比以前的方法具有更好的准确性，可以直接应用于具有不同内存或延迟要求的不同下游任务。

May, 2021

Q8BERT：量化 8 位 BERT

本文介绍了如何在 BERT 的 fine-tuning 阶段进行量化感知的训练，以将 BERT 压缩 4 倍并加速推理速度。

Oct, 2019

BEBERT：高效稳健的二进制集成 BERT

本文提出了一种二进制集合 BERT（BEBERT）模型，采用集成技术来弥补其与全精度 BERT 相比的精度差距，同时保持计算效率，实验证明，BEBERT 在精度和鲁棒性方面明显优于现有的二进制 BERT 模型，训练时间更快，模型尺寸和 FLOPs 分别比全精度基准低 13 倍和 15 倍，同时也优于其他压缩 BERT 的精度高达 6.7%。

Oct, 2022