DE$^3$-BERT: 基于原型网络的 BERT 增强距离提前退出

Feb, 2024

DE$^3$-BERT: 基于原型网络的 BERT 增强距离提前退出

DE$^3$-BERT: Distance-Enhanced Early Exiting for BERT based on Prototypical Networks

Jianing He, Qi Zhang, Weiping Ding, Duoqian Miao, Jun Zhao...

TL;DR基于全局信息与局部信息的混合策略，我们提出了一个新颖的基于距离增强的 BERT 模型早停策略 (DE^3-BERT)，通过利用全局信息来提高预测准确性，从而在模型性能和推理效率之间取得更好的平衡。

Abstract

early exiting has demonstrated its effectiveness in accelerating the inference of pre-trained language models like BERT by dynamically adjusting the number of layers executed. However, most existing →

early exiting pre-trained language models global information prototypical networks inference efficiency

发现论文，激发创造

DeeBERT：加速 BERT 推理的动态早退出

DeeBERT 是一种简单而有效的方法，可以加速 BERT 的推理并降低推理时间。实验结果显示 DeeBERT 能够在保持模型质量的情况下，最多节省约 40％的推理时间，这为高效地应用基于 transformer-based 的深度模型提供了新思路。

Apr, 2020

SmartBERT: 提升动态早退出机制以加速 BERT 推断

本文提出一种名为 SmartBERT 的动态早期退出的 BERT 推理技术，结合跨层对比学习和层跳过机制，能够自适应跳过某些层和自适应选择是否退出，通过在训练阶段提出硬权重机制，可实现一致的跳过门的使用，通过 8 个分类数据集的实验结果表明，SmartBERT 达到 2-3 倍的计算减少，并与 BERT 相比仅有较小的精度损失，并且在效率和精度方面优于先前的方法。

Mar, 2023

CEEBERT：早期退出 BERT 的跨领域推断

提出了一种名为 CeeBERT 的在线学习算法，该算法通过根据每个退出点处的置信水平动态确定样本的早期退出，从而消除了标记数据的需求，并且在最少降低性能的情况下改善了延迟。

May, 2024

CascadeBERT：通过校准完整模型级联加速预训练语言模型推断

本研究分析了动态提前退出的工作机制，并发现其在高速比下面临性能瓶颈。为了解决这个问题，提出了一个新的框架 CascadeBERT，可以在重要性和正确性方面提供综合的表示。经过实验证明，与现有的动态提前退出方法相比，CascadeBERT 在六个分类任务上的性能提升达到了 15％，可实现 4 倍加速。

Dec, 2020

通过早期退出加速用于序列标注的 BERT 推理

本文介绍了一个用于序列标记任务的提前退出机制，可以加速预训练模型的推断速度，同时通过基于窗口的判别标准以及自我采样微调等手段进一步降低了计算成本，并在三个常见序列标注任务上取得了较好的结果。

May, 2021

动态编码器早期退出的加速编码 - 解码 Transformer 模型

通过在解码层执行动态提前退出的方法（DEED），提出了一种多退出的编码器 - 解码器变换器模型，其能够在保持精确性的同时减少推理延迟。

Nov, 2023

HuBERT-EE：高效语音识别的早期退出 HuBERT 模型

研究使用自监督模型 HuBERT 和 wav2vec 2.0 在自动语音识别中取得了显著的性能改进，但这些模型通常需要高昂的计算成本来实现出色的性能，从而拖慢了推理速度。为了提高模型效率，我们提出了一种早期退出方案，即 HuBERT-EE，它允许模型动态地停止推理。

Apr, 2022

具有多个退出的 DNN 的无监督式早期退出

"UEE-UCB" 是一种基于 Upper Confidence Bound (UCB) 算法的多出口深度神经网络 (DNNs) 优化方法，利用 bandit 理论来识别多出口 DNNs 中的最优退出点，并能够适应性地学习特定领域的最优退出点。

Sep, 2022

一种基于简单哈希的语言理解和生成早期退出方法

本文提出了一种基于哈希技术的早期结束方法，即 HashEE 方法，以替代 learn-to-exit 模块来预测每个实例的困难度，并将每个令牌分配到一个固定的退出层。实验证明，与先前的早期退出方法相比，该方法在分类、回归和生成任务中能够实现更高的性能，且需要更少的 FLOPs 和推理时间，并且不需要内部分类器或额外参数。

Mar, 2022

早期退出预测的资源受限边缘人工智能

本文提出了一种早期预测机制 'Exit Predictor'，通过引导某些明显 “困难” 的数据样本绕过早期出口的计算，从而降低设备边缘混合推理系统中早期退出网络的设备计算负担。同时，还考虑了通信带宽的变化，在延迟感知的边缘推理中通过几个简单的回归模型来调整 Exit Predictor 的预测阈值和早期退出网络的置信度阈值，以适应不同带宽条件下推理的需求。实验结果表明，Exit Predictor 对于早期退出网络在准确性和设备计算负担之间取得更好的折衷效果。与基线方法相比，在不同带宽条件下，提出的延迟感知的边缘推理方法具有更高的推理准确性。

Jun, 2022