本文提出一种名为 SmartBERT 的动态早期退出的 BERT 推理技术，结合跨层对比学习和层跳过机制，能够自适应跳过某些层和自适应选择是否退出，通过在训练阶段提出硬权重机制，可实现一致的跳过门的使用，通过 8 个分类数据集的实验结果表明，SmartBERT 达到 2-3 倍的计算减少，并与 BERT 相比仅有较小的精度损失，并且在效率和精度方面优于先前的方法。

Mar, 2023

通过在解码层执行动态提前退出的方法（DEED），提出了一种多退出的编码器 - 解码器变换器模型，其能够在保持精确性的同时减少推理延迟。

Nov, 2023

基于全局信息与局部信息的混合策略，我们提出了一个新颖的基于距离增强的 BERT 模型早停策略 (DE^3-BERT)，通过利用全局信息来提高预测准确性，从而在模型性能和推理效率之间取得更好的平衡。

Feb, 2024

提出了一种名为 CeeBERT 的在线学习算法，该算法通过根据每个退出点处的置信水平动态确定样本的早期退出，从而消除了标记数据的需求，并且在最少降低性能的情况下改善了延迟。

May, 2024

本研究分析了动态提前退出的工作机制，并发现其在高速比下面临性能瓶颈。为了解决这个问题，提出了一个新的框架 CascadeBERT，可以在重要性和正确性方面提供综合的表示。 经过实验证明，与现有的动态提前退出方法相比，CascadeBERT 在六个分类任务上的性能提升达到了 15％，可实现 4 倍加速。

Dec, 2020

本文提出了一种基于 salience 方法的计算成本降低技术，具体来说，是通过动态消除 BERT 模型中的无用 tokens 以降低计算成本，在几个不同的分类任务中验证其性能，实现了高达 22 倍的加速。

Mar, 2022

本研究提出了一种新的 fine-tuning 策略，使用动态规划来加速 BERT 的推理过程，并通过选择 transformer 层列表的子序列作为输入样本的计算路径，在保持 98% 准确率的同时，将延迟降低到 75%，相比最先进的输入自适应方法，取得了更好的准确率和速度的折中效果。

Jul, 2023

本文提出了一种新颖的速度可调的 FastBERT 语言模型，通过采用自适应推理时间和独特的自蒸馏机制，在保证性能的同时提高了计算效率，并在 12 个英文和中文数据集上取得了良好的结果。

Apr, 2020

本文提出了 DACT-BERT，一种用于增加自然语言处理的计算效率的自适应计算时间策略，该策略通过控制 Transformer block 的数量来改善 BERT 模型的计算效率。实验结果表明，相较于基线模型，DACT-BERT 在减少计算资源的情况下表现出色，并在其他计算资源受限的情况下也具有竞争力。

Sep, 2021

本文介绍了一种名为 DynaBERT 的新型动态 BERT 模型，其通过选择自适应宽度和深度来灵活调整模型大小和延迟，以达到不同硬件性能的要求，并通过知识蒸馏过程，从全尺寸模型到小子网络，实现自适应宽度和深度。综合实验表明，它具有可比较的性能，并且在较小的宽度和深度下始终优于现有的 BERT 压缩方法。

Apr, 2020