Feb, 2024

EERO: 早期退出与拒绝选项的有限预算高效分类

PDF
TL;DR本研究提出了一种名为 EERO 的新方法，将早期退出的问题转化为使用具有拒绝选项的多个分类器的问题，以更好地选择每个实例的退出头。实验证明，该方法不仅有效管理预算分配，而且在超思考场景中提高了准确性。
advanced machine learning modelsearly exit strategyeeromultiple classifiers with reject optionbudget allocation
发现论文，激发创造
  • EENet: 适应推理的学习早期退出

    本研究提出了一种基于多目标学习的多出口深度神经网络推理框架 EENet，以优化在给定推理预算下的早期退出策略。 EENet 早期退出调度程序优化测试样本分配到不同退出，同时选择退出效用阈值，以满足给定的推理预算，同时最大化性能指标。与现有代表性早期退出技术相比，EENet 可以显着提高性能。

    Jan, 2023

  • 早期退出预测的资源受限边缘人工智能

    本文提出了一种早期预测机制 'Exit Predictor'，通过引导某些明显 “困难” 的数据样本绕过早期出口的计算，从而降低设备边缘混合推理系统中早期退出网络的设备计算负担。同时，还考虑了通信带宽的变化，在延迟感知的边缘推理中通过几个简单的回归模型来调整 Exit Predictor 的预测阈值和早期退出网络的置信度阈值，以适应不同带宽条件下推理的需求。实验结果表明，Exit Predictor 对于早期退出网络在准确性和设备计算负担之间取得更好的折衷效果。与基线方法相比，在不同带宽条件下，提出的延迟感知的边缘推理方法具有更高的推理准确性。

    Jun, 2022

  • RAEE：一种无需训练的检索增强早期退出框架，实现高效推理

    通过构建检索数据库，框架 RAEE 以预测的近似分布为指导，利用类似数据的退出信息加速语言模型推理，取得了显著的效果，并在 8 个分类任务上达到了最先进的零 - shot 性能。

    May, 2024

  • ConsistentEE：一种一致和硬度引导的加速语言模型推理的早期退出方法

    ConsistentEE 是一种早期退出方法，使用强化学习将退出过程形式化，通过添加策略网络来决定实例是否退出或继续，并利用一个记忆层来衡量实例的难度，从而提高加速和准确性。在自然语言理解和生成任务中，实验证明我们的方法优于其他基线模型。

    Dec, 2023

  • 快速而安全：带有风险控制的提前退出

    通过应用风险控制机制，我们实现了针对早期停止神经网络（EENNs）的退出机制，在保持用户指定的性能目标的同时，大幅减少计算资源的使用。

    May, 2024

  • 在资源受限设备上使用早期退出来训练动态模型的自动语音识别

    通过使用早期退出结构，我们研究了用于大词汇语音识别的动态模型，这些模型可以根据可用资源和识别性能自动调整其计算成本。与以前的工作不同的是，我们不仅使用预训练的骨干网络，还使用早期退出结构从头开始训练模型。通过在公共数据集上的实验证明，与使用较少编码器层或使用预训练模型相比，从头开始的早期退出结构不仅保持了性能水平，还提高了任务准确性。此外，我们还研究了一种基于后验概率的退出选择策略，作为基于帧熵的替代方案。

    Sep, 2023

  • SplitEE：深度神经网络中的分割计算早期退出

    将早期退出和拆分计算相结合，开发了一种在线无监督学习算法 SplitEE，通过在资源受限设备中选择性计算和外部计算，实现了大幅降低成本（>50%）并略微降低准确性（<2%）的效果。

    Sep, 2023

  • 一种基于简单哈希的语言理解和生成早期退出方法

    本文提出了一种基于哈希技术的早期结束方法，即 HashEE 方法，以替代 learn-to-exit 模块来预测每个实例的困难度，并将每个令牌分配到一个固定的退出层。实验证明，与先前的早期退出方法相比，该方法在分类、回归和生成任务中能够实现更高的性能，且需要更少的 FLOPs 和推理时间，并且不需要内部分类器或额外参数。

    Mar, 2022

  • 学习为动态早退出网络加权样本

    本文提出了一种基于样本加权的训练策略，用于桥接训练与测试时 Early exiting 行为的差距，通过联合优化权重预测网络和网络主干模型，在训练期间模拟其在推理期间的自适应行为，从而提高分类准确度和推理效率的权衡。

    Sep, 2022

  • 集成内部分类器的提前退出

    本文提出了一种新的用于训练内部分类器集成模型的目标函数，利用信息论来提高模型的准确性和多样性，并基于模型推理过去的所有分类器的预测结果来进行投票决策，从而实现更好的精度和速度平衡。

    May, 2021