Mar, 2023
SmartBERT: 提升动态早退出机制以加速 BERT 推断
SmartBERT: A Promotion of Dynamic Early Exiting Mechanism for Accelerating BERT Inference
Boren Hu, Yun Zhu, Jiacheng Li, Siliang Tang
TL;DR本文提出一种名为 SmartBERT 的动态早期退出的 BERT 推理技术,结合跨层对比学习和层跳过机制,能够自适应跳过某些层和自适应选择是否退出,通过在训练阶段提出硬权重机制,可实现一致的跳过门的使用,通过 8 个分类数据集的实验结果表明,SmartBERT 达到 2-3 倍的计算减少,并与 BERT 相比仅有较小的精度损失,并且在效率和精度方面优于先前的方法。