Nov, 2022

使用 ELBERT 的快速准确 FSA 系统：高效轻量级 BERT

PDF
TL;DR提出一种旨在加速 GPU 平台上 BERT，以解决金融情感分析中速度和准确性问题的高效轻量级 BERT 和创新的基于置信窗口的早期退出机制。实验结果表明，使用该加速方法，系统的处理速度可以提高近 40 倍，达到 1000 多个文本每秒。
deep learningtransformer-based pre-trained modelsbertfinancial sentiment analysisgpu platform
发现论文，激发创造
  • HuBERT-EE：高效语音识别的早期退出 HuBERT 模型

    研究使用自监督模型 HuBERT 和 wav2vec 2.0 在自动语音识别中取得了显著的性能改进，但这些模型通常需要高昂的计算成本来实现出色的性能，从而拖慢了推理速度。为了提高模型效率，我们提出了一种早期退出方案，即 HuBERT-EE，它允许模型动态地停止推理。

    Apr, 2022

  • SmartBERT: 提升动态早退出机制以加速 BERT 推断

    本文提出一种名为 SmartBERT 的动态早期退出的 BERT 推理技术，结合跨层对比学习和层跳过机制，能够自适应跳过某些层和自适应选择是否退出，通过在训练阶段提出硬权重机制，可实现一致的跳过门的使用，通过 8 个分类数据集的实验结果表明，SmartBERT 达到 2-3 倍的计算减少，并与 BERT 相比仅有较小的精度损失，并且在效率和精度方面优于先前的方法。

    Mar, 2023

  • CascadeBERT：通过校准完整模型级联加速预训练语言模型推断

    本研究分析了动态提前退出的工作机制，并发现其在高速比下面临性能瓶颈。为了解决这个问题，提出了一个新的框架 CascadeBERT，可以在重要性和正确性方面提供综合的表示。 经过实验证明，与现有的动态提前退出方法相比，CascadeBERT 在六个分类任务上的性能提升达到了 15％，可实现 4 倍加速。

    Dec, 2020

  • DeeBERT：加速 BERT 推理的动态早退出

    DeeBERT 是一种简单而有效的方法，可以加速 BERT 的推理并降低推理时间。实验结果显示 DeeBERT 能够在保持模型质量的情况下，最多节省约 40％的推理时间，这为高效地应用基于 transformer-based 的深度模型提供了新思路。

    Apr, 2020

  • EarlyBERT: 早鸟抽奖票优化 BERT 训练

    本篇论文提出了 EarlyBERT，这是一种通用的计算高效的训练算法，可用于大规模语言模型的预训练和微调，通过对自注意和全连接子层进行精简，第一次在 BERT 训练的早期阶段中发现了结构优质的 winning tickets，实验结果表明，与标准 BERT 相比，EarlyBERT 能够在 35-45％的训练时间内实现相当的性能。

    Dec, 2020

  • EdgeBERT：面向延迟感知的多任务 NLP 推理的句子级能耗优化

    EdgeBERT 是一种算法硬件协同设计，提供基于熵的早期退出预测，以进行动态电压频率缩放 (DVFS)，从而实现最小能耗，同时遵循预定的目标延迟，以适应资源受限的边缘平台，在最小的计算和存储占用开销下，提供多任务自然语言处理 (NLP) 加速，相比于传统的推理方法，无限制的早期退出方法以及在 Nvidia Jetson Tegra X2 移动 GPU 上的 CUDA 适配，EdgeBERT 硬件系统在激活多任务 NLP 推理加速方面，能够生成高达 7x，2.5x 和 53x 的低能耗。

    Nov, 2020

  • 指数级加速的语言建模

    FastBERT 是一种 BERT 变种，使用仅占其神经元的指数部分进行推断，同时表现出与类似 BERT 模型相当的性能。它通过将前馈网络替换为快速前馈网络来实现，每层推断只有 12 个神经元参与。我们提供了高效的 CPU 代码和 PyTorch 实现，分别获得了 78 倍和 40 倍的加速效果，同时发布了训练代码、基准设置和模型权重。

    Nov, 2023

  • 选择适合的工具：匹配模型和实例的复杂度

    为了更好地优化给定的推理预算，我们提出了一种改进的上下文表示微调方法，它允许神经网络在简单实例中早期 (快速) 地进行神经网络计算，并允许在困难实例中晚期 (准确) 地退出，以交换精度和推理速度，而不需要昂贵的计算资源。

    Apr, 2020

  • BERT 失去耐心：早期退出的快速和稳健推断

    本文提出了一种基于 Patience 的 Early Exit 推理方法，该方法可以作为即插即用的技术应用于预训练语言模型，并同时提高其效率和鲁棒性，方法是在每个预训练语言模型层上配备一个内部分类器，动态地停止推理过程使得中间分类器的预测结果不再改变，从而减少模型的复杂度，产生更好的精度 - 速度平衡。在实验结果中，使用该方法对 ALBERT 模型进行优化，结果表明该方法能够预防模型过度思考和在预测阶段利用多个分类器，达到更好的精度 - 速度平衡。

    Jun, 2020

  • 通过早期退出加速用于序列标注的 BERT 推理

    本文介绍了一个用于序列标记任务的提前退出机制，可以加速预训练模型的推断速度，同时通过基于窗口的判别标准以及自我采样微调等手段进一步降低了计算成本，并在三个常见序列标注任务上取得了较好的结果。

    May, 2021