May, 2024

多模态自适应推理与任意时刻提前退出的文档图像分类

PDF
TL;DR本研究提出了一种多模态早期退出模型设计，旨在在可视化丰富的文档理解（VDU）任务的可扩展生产环境中实现预测性能和效率之间的 Pareto 最优平衡。通过一系列实验证明，我们的方法与传统的退出策略相比，在改善了性能效率权衡方面取得了显著的改进。该研究对于提高 VDU 应用的性能和效率具有实际意义。
scalable production environmentsvisually-rich document understandingmultimodal early exit model designperformance-efficiency trade-offcalibration
发现论文，激发创造
  • 需要多个退出点：加速统一视觉语言模型的动态提前退出

    通过提出一种名为 MuE 的新颖的早期退出策略，可以在编解码器中动态地跳过图像和文本多模态的不同层，从而提高推理效率，该方法可将预期推理时间缩短 50％和 40％，同时保持高达 99％和 96％的性能。

    Nov, 2022

  • 在资源受限设备上使用早期退出来训练动态模型的自动语音识别

    通过使用早期退出结构，我们研究了用于大词汇语音识别的动态模型，这些模型可以根据可用资源和识别性能自动调整其计算成本。与以前的工作不同的是，我们不仅使用预训练的骨干网络，还使用早期退出结构从头开始训练模型。通过在公共数据集上的实验证明，与使用较少编码器层或使用预训练模型相比，从头开始的早期退出结构不仅保持了性能水平，还提高了任务准确性。此外，我们还研究了一种基于后验概率的退出选择策略，作为基于帧熵的替代方案。

    Sep, 2023

  • EENet: 适应推理的学习早期退出

    本研究提出了一种基于多目标学习的多出口深度神经网络推理框架 EENet，以优化在给定推理预算下的早期退出策略。 EENet 早期退出调度程序优化测试样本分配到不同退出，同时选择退出效用阈值，以满足给定的推理预算，同时最大化性能指标。与现有代表性早期退出技术相比，EENet 可以显着提高性能。

    Jan, 2023

  • EE-Tuning: 基于经济且可伸缩的解决方案的早停调参大型语言模型

    EE-Tuning 是一种轻量且经济的解决方案，用于训练 / 调整早停的大型语言模型 (LLMs)。与全参数预训练的常见方法相比，EE-Tuning 通过以参数有效的方式增加早停层来扩充任何预训练（可能是微调）的标准 LLM，从而大大减少计算资源和训练数据的需求。通过广泛的性能优化和与 3D 并行性的完全兼容性，我们的 EE-Tuning 实现实现了出色的训练效率和可扩展性。系统实验证实了 EE-Tuning 的有效性，并证实只需有限的训练预算就可以实现有效的早停 LLM 推断。为了让早停 LLMs 可供广大科研人员使用，我们在此链接处发布了 EE-Tuning 的源代码。

    Feb, 2024

  • RAEE：一种无需训练的检索增强早期退出框架，实现高效推理

    通过构建检索数据库，框架 RAEE 以预测的近似分布为指导，利用类似数据的退出信息加速语言模型推理，取得了显著的效果，并在 8 个分类任务上达到了最先进的零 - shot 性能。

    May, 2024

  • 具有多个退出的 DNN 的无监督式早期退出

    "UEE-UCB" 是一种基于 Upper Confidence Bound (UCB) 算法的多出口深度神经网络 (DNNs) 优化方法，利用 bandit 理论来识别多出口 DNNs 中的最优退出点，并能够适应性地学习特定领域的最优退出点。

    Sep, 2022

  • 动态感知器用于高效视觉识别

    本文提出了动态感知器 (Dyn-Perceiver) 框架，使用新颖的双分支架构将特征提取过程和早期分类任务分离，并在分类分支内专门放置了早期退出，从而提高了深度神经网络的推理效率。

    Jun, 2023

  • LGViT：动态早期退出以加速视觉 Transformer

    我们提出了一种早期退出的通用 ViTs 框架 LGViT，它通过引入异质退出头，包括局部感知头和全局聚合头，实现了效率和准确性的权衡，通过两阶段的训练方案，包括端到端训练和带有冻结骨干的自蒸馏，生成了早期退出的 ViTs，进一步促进了由这两种类型的头提取的全局和局部信息的融合，实验证明我们的 LGViT 能够在大约 1.8 倍的速度提升的同时保持竞争力的性能。

    Aug, 2023

  • 动态神经网络的联合推理和推断：JEI-DNN

    大型预训练模型与微调相结合，在机器学习中逐渐成为主要的架构。早期退出动态神经网络（EDNN）通过允许模型从中间层进行预测（即早期退出），绕过了每个推理所需的资源过多的限制。我们提出了一种连接这两个模块的新型架构，这在分类数据集上带来了显著的性能提升，并且具有更好的不确定性特征。

    Oct, 2023

  • 利用早期退出在自动调制分类中进行快速推断

    通过应用早期退出方法来加速深度学习模型的推断过程，本文提出了四种早期退出架构和一种自定义的多分支训练算法，研究了模拟调制分类的分类准确性和推断时间之间的权衡，并证明早期退出技术可以显著减少深度神经网络的推断速度，同时保持分类准确性。

    Aug, 2023