Nov, 2022

需要多个退出点：加速统一视觉语言模型的动态提前退出

PDF
TL;DR通过提出一种名为 MuE 的新颖的早期退出策略，可以在编解码器中动态地跳过图像和文本多模态的不同层，从而提高推理效率，该方法可将预期推理时间缩短 50％和 40％，同时保持高达 99％和 96％的性能。
large-scale transformer modelsearly exitingunified visual language modelsinference efficiencyexpected inference time
发现论文，激发创造
  • LGViT：动态早期退出以加速视觉 Transformer

    我们提出了一种早期退出的通用 ViTs 框架 LGViT，它通过引入异质退出头，包括局部感知头和全局聚合头，实现了效率和准确性的权衡，通过两阶段的训练方案，包括端到端训练和带有冻结骨干的自蒸馏，生成了早期退出的 ViTs，进一步促进了由这两种类型的头提取的全局和局部信息的融合，实验证明我们的 LGViT 能够在大约 1.8 倍的速度提升的同时保持竞争力的性能。

    Aug, 2023

  • 动态编码器早期退出的加速编码 - 解码 Transformer 模型

    通过在解码层执行动态提前退出的方法（DEED），提出了一种多退出的编码器 - 解码器变换器模型，其能够在保持精确性的同时减少推理延迟。

    Nov, 2023

  • 层级跳过：在推断中实现早期退出和自我推测解码

    通过应用层丢弃和早期退出损失的训练技术，在推理过程中加快大型语言模型的速度，并推出了一种新颖的自我推测编码解决方案，该解决方案减少了内存占用，并在不同训练任务上实现了高达 2.16 倍的加速。

    Apr, 2024

  • 在资源受限设备上使用早期退出来训练动态模型的自动语音识别

    通过使用早期退出结构，我们研究了用于大词汇语音识别的动态模型，这些模型可以根据可用资源和识别性能自动调整其计算成本。与以前的工作不同的是，我们不仅使用预训练的骨干网络，还使用早期退出结构从头开始训练模型。通过在公共数据集上的实验证明，与使用较少编码器层或使用预训练模型相比，从头开始的早期退出结构不仅保持了性能水平，还提高了任务准确性。此外，我们还研究了一种基于后验概率的退出选择策略，作为基于帧熵的替代方案。

    Sep, 2023

  • 利用统一的层跳过策略加速大型语言模型的推理

    提出了一种统一的层跳过策略，通过选择要跳过的层数来达到目标加速比，从而显著提升了推理性能和实际模型吞吐量。

    Apr, 2024

  • 动态变压器提供了一种虚假的效率感

    本文提出了一种名为 SAME 的攻击框架，重点针对多出口模型的内部预测，有效地降低了各种多出口模型的效率，验证了其有效性和泛化能力。

    May, 2023

  • CascadeBERT：通过校准完整模型级联加速预训练语言模型推断

    本研究分析了动态提前退出的工作机制，并发现其在高速比下面临性能瓶颈。为了解决这个问题，提出了一个新的框架 CascadeBERT，可以在重要性和正确性方面提供综合的表示。 经过实验证明，与现有的动态提前退出方法相比，CascadeBERT 在六个分类任务上的性能提升达到了 15％，可实现 4 倍加速。

    Dec, 2020

  • 自信的自适应语言建模

    使用 Confident Adaptive Language Modeling（CALM）动态分配不同量的计算资源，早期退出解码以减少计算，从而在维持高性能的同时最多可提速三倍，理论分析和实验表明其在减少计算方面的有效性。

    Jul, 2022

  • 动态神经网络的联合推理和推断：JEI-DNN

    大型预训练模型与微调相结合，在机器学习中逐渐成为主要的架构。早期退出动态神经网络（EDNN）通过允许模型从中间层进行预测（即早期退出），绕过了每个推理所需的资源过多的限制。我们提出了一种连接这两个模块的新型架构，这在分类数据集上带来了显著的性能提升，并且具有更好的不确定性特征。

    Oct, 2023

  • COST-EFF：细化多出口语言模型在空间和时间效率上的协同优化

    提出了一种用于 PLM 的协作优化算法，该算法集成了静态模型压缩和动态推理加速，通过在宽度上将 PLM 变得苗条同时保持深度，同时补充逐层早期退出以动态加速推理。

    Oct, 2022