EMNLPDec, 2020

CascadeBERT：通过校准完整模型级联加速预训练语言模型推断

PDF
TL;DR本研究分析了动态提前退出的工作机制，并发现其在高速比下面临性能瓶颈。为了解决这个问题，提出了一个新的框架 CascadeBERT，可以在重要性和正确性方面提供综合的表示。 经过实验证明，与现有的动态提前退出方法相比，CascadeBERT 在六个分类任务上的性能提升达到了 15％，可实现 4 倍加速。
发现论文，激发创造
  • CEEBERT：早期退出 BERT 的跨领域推断

    提出了一种名为 CeeBERT 的在线学习算法，该算法通过根据每个退出点处的置信水平动态确定样本的早期退出，从而消除了标记数据的需求，并且在最少降低性能的情况下改善了延迟。

    May, 2024

  • TangoBERT：使用级联架构以降低推理成本

    TangoBERT 是一种分层式的模型架构，能够通过在推理时间内降低计算负载来实现高速推断，并利用常规层级变压器模型的批量大小优化来增加相对推断成本的降低。

    Apr, 2022

  • SmartBERT: 提升动态早退出机制以加速 BERT 推断

    本文提出一种名为 SmartBERT 的动态早期退出的 BERT 推理技术，结合跨层对比学习和层跳过机制，能够自适应跳过某些层和自适应选择是否退出，通过在训练阶段提出硬权重机制，可实现一致的跳过门的使用，通过 8 个分类数据集的实验结果表明，SmartBERT 达到 2-3 倍的计算减少，并与 BERT 相比仅有较小的精度损失，并且在效率和精度方面优于先前的方法。

    Mar, 2023

  • BERT 失去耐心：早期退出的快速和稳健推断

    本文提出了一种基于 Patience 的 Early Exit 推理方法，该方法可以作为即插即用的技术应用于预训练语言模型，并同时提高其效率和鲁棒性，方法是在每个预训练语言模型层上配备一个内部分类器，动态地停止推理过程使得中间分类器的预测结果不再改变，从而减少模型的复杂度，产生更好的精度 - 速度平衡。在实验结果中，使用该方法对 ALBERT 模型进行优化，结果表明该方法能够预防模型过度思考和在预测阶段利用多个分类器，达到更好的精度 - 速度平衡。

    Jun, 2020

  • DeeBERT：加速 BERT 推理的动态早退出

    DeeBERT 是一种简单而有效的方法，可以加速 BERT 的推理并降低推理时间。实验结果显示 DeeBERT 能够在保持模型质量的情况下，最多节省约 40％的推理时间，这为高效地应用基于 transformer-based 的深度模型提供了新思路。

    Apr, 2020

  • 通过早期退出加速用于序列标注的 BERT 推理

    本文介绍了一个用于序列标记任务的提前退出机制，可以加速预训练模型的推断速度，同时通过基于窗口的判别标准以及自我采样微调等手段进一步降低了计算成本，并在三个常见序列标注任务上取得了较好的结果。

    May, 2021

  • 自信的自适应语言建模

    使用 Confident Adaptive Language Modeling（CALM）动态分配不同量的计算资源，早期退出解码以减少计算，从而在维持高性能的同时最多可提速三倍，理论分析和实验表明其在减少计算方面的有效性。

    Jul, 2022

  • $C^3$: 用于推理高效的跨语言自然语言理解的置信度校准模型级联

    本研究引入了一种置信度校准的模型级联方法（$C^3$），通过在级联推断之前进行校准，提高了级联的准确性，实验证明 $C^3$ 明显优于所有现有的基线模型。

    Feb, 2024

  • 级联感知语言模型的训练

    通过级联语言模型的优化训练方法，本研究提出了一种能够减少服务成本和延迟的解决方案，并在超过 60 个语言模型任务中展示了该方法的价值。

    May, 2024

  • 需要多个退出点：加速统一视觉语言模型的动态提前退出

    通过提出一种名为 MuE 的新颖的早期退出策略，可以在编解码器中动态地跳过图像和文本多模态的不同层，从而提高推理效率，该方法可将预期推理时间缩短 50％和 40％，同时保持高达 99％和 96％的性能。

    Nov, 2022