Nov, 2023

动态编码器早期退出的加速编码 - 解码 Transformer 模型

PDF
TL;DR通过在解码层执行动态提前退出的方法（DEED），提出了一种多退出的编码器 - 解码器变换器模型，其能够在保持精确性的同时减少推理延迟。
encoder-decoder transformer modelsvision-language tasksinference latencydynamic early exit on decoder (deed)deep supervision
发现论文，激发创造
  • DeeBERT：加速 BERT 推理的动态早退出

    DeeBERT 是一种简单而有效的方法，可以加速 BERT 的推理并降低推理时间。实验结果显示 DeeBERT 能够在保持模型质量的情况下，最多节省约 40％的推理时间，这为高效地应用基于 transformer-based 的深度模型提供了新思路。

    Apr, 2020

  • 需要多个退出点：加速统一视觉语言模型的动态提前退出

    通过提出一种名为 MuE 的新颖的早期退出策略，可以在编解码器中动态地跳过图像和文本多模态的不同层，从而提高推理效率，该方法可将预期推理时间缩短 50％和 40％，同时保持高达 99％和 96％的性能。

    Nov, 2022

  • 层级跳过：在推断中实现早期退出和自我推测解码

    通过应用层丢弃和早期退出损失的训练技术，在推理过程中加快大型语言模型的速度，并推出了一种新颖的自我推测编码解决方案，该解决方案减少了内存占用，并在不同训练任务上实现了高达 2.16 倍的加速。

    Apr, 2024

  • 动态神经网络的联合推理和推断：JEI-DNN

    大型预训练模型与微调相结合，在机器学习中逐渐成为主要的架构。早期退出动态神经网络（EDNN）通过允许模型从中间层进行预测（即早期退出），绕过了每个推理所需的资源过多的限制。我们提出了一种连接这两个模块的新型架构，这在分类数据集上带来了显著的性能提升，并且具有更好的不确定性特征。

    Oct, 2023

  • 多语言神经机器翻译：深度编码器与多浅层解码器

    对多语种翻译使用深度编码器和浅层解码器 (DEMSD) 的方法，使得在翻译质量没有显著损失的情况下，可获得 1.8 倍的平均速度提升。

    Jun, 2022

  • DE$^3$-BERT: 基于原型网络的 BERT 增强距离提前退出

    基于全局信息与局部信息的混合策略，我们提出了一个新颖的基于距离增强的 BERT 模型早停策略 (DE^3-BERT)，通过利用全局信息来提高预测准确性，从而在模型性能和推理效率之间取得更好的平衡。

    Feb, 2024

  • DyCE：深度学习压缩和扩展的动态可配置退出

    利用动态配置的早期退出框架，在深度学习中实现了可伸缩性和压缩技术，显著减少计算复杂度并提供实时配置和精细的性能调节能力。

    Mar, 2024

  • EENet: 适应推理的学习早期退出

    本研究提出了一种基于多目标学习的多出口深度神经网络推理框架 EENet，以优化在给定推理预算下的早期退出策略。 EENet 早期退出调度程序优化测试样本分配到不同退出，同时选择退出效用阈值，以满足给定的推理预算，同时最大化性能指标。与现有代表性早期退出技术相比，EENet 可以显着提高性能。

    Jan, 2023

  • 动态感知器用于高效视觉识别

    本文提出了动态感知器 (Dyn-Perceiver) 框架，使用新颖的双分支架构将特征提取过程和早期分类任务分离，并在分类分支内专门放置了早期退出，从而提高了深度神经网络的推理效率。

    Jun, 2023

  • 在资源受限设备上使用早期退出来训练动态模型的自动语音识别

    通过使用早期退出结构，我们研究了用于大词汇语音识别的动态模型，这些模型可以根据可用资源和识别性能自动调整其计算成本。与以前的工作不同的是，我们不仅使用预训练的骨干网络，还使用早期退出结构从头开始训练模型。通过在公共数据集上的实验证明，与使用较少编码器层或使用预训练模型相比，从头开始的早期退出结构不仅保持了性能水平，还提高了任务准确性。此外，我们还研究了一种基于后验概率的退出选择策略，作为基于帧熵的替代方案。

    Sep, 2023