MMJun, 2022

早期退出预测的资源受限边缘人工智能

PDF
TL;DR本文提出了一种早期预测机制 'Exit Predictor'，通过引导某些明显 “困难” 的数据样本绕过早期出口的计算，从而降低设备边缘混合推理系统中早期退出网络的设备计算负担。同时，还考虑了通信带宽的变化，在延迟感知的边缘推理中通过几个简单的回归模型来调整 Exit Predictor 的预测阈值和早期退出网络的置信度阈值，以适应不同带宽条件下推理的需求。实验结果表明，Exit Predictor 对于早期退出网络在准确性和设备计算负担之间取得更好的折衷效果。与基线方法相比，在不同带宽条件下，提出的延迟感知的边缘推理方法具有更高的推理准确性。
early-exit networksdevice-edge co-inferenceexit predictorcomputation overheadlatency-aware edge inference
发现论文，激发创造
  • EENet: 适应推理的学习早期退出

    本研究提出了一种基于多目标学习的多出口深度神经网络推理框架 EENet，以优化在给定推理预算下的早期退出策略。 EENet 早期退出调度程序优化测试样本分配到不同退出，同时选择退出效用阈值，以满足给定的推理预算，同时最大化性能指标。与现有代表性早期退出技术相比，EENet 可以显着提高性能。

    Jan, 2023

  • 早期退出网络的自适应推断：设计、挑战与方向

    该研究论文介绍了早期退出网络的设计方法和最新进展，比较了与其他高效推理解决方案的优劣，并提出了未来研究的挑战和方向。

    Jun, 2021

  • 噪声无线信道上的自适应提前退出协同推理

    协作推理系统是在无线网络边缘部署深度神经网络的新兴解决方案之一。本研究工作通过评估不同的传输决策机制，实验证明在无线边缘上适当利用早期退出可以在图像分类任务中提供性能增益和显著的通信节省。

    Nov, 2023

  • 在资源受限设备上使用早期退出来训练动态模型的自动语音识别

    通过使用早期退出结构，我们研究了用于大词汇语音识别的动态模型，这些模型可以根据可用资源和识别性能自动调整其计算成本。与以前的工作不同的是，我们不仅使用预训练的骨干网络，还使用早期退出结构从头开始训练模型。通过在公共数据集上的实验证明，与使用较少编码器层或使用预训练模型相比，从头开始的早期退出结构不仅保持了性能水平，还提高了任务准确性。此外，我们还研究了一种基于后验概率的退出选择策略，作为基于帧熵的替代方案。

    Sep, 2023

  • HAPI: 硬件感知渐进推理

    本文提出了一种名为 HAPI 的新方法，通过在推理阶段与早期退出策略一起优化中间退出的放置位置，实现了高性能的早期退出网络生成。通过设计空间探索算法，我们提出了一种在各种延迟预算下始终优于其他搜索机制和最先进的早期退出方案的系统，它在强制嵌入式设备的延迟驱动 SLAs 的速度上提供了高效的方案。

    Aug, 2020

  • 学习为动态早退出网络加权样本

    本文提出了一种基于样本加权的训练策略，用于桥接训练与测试时 Early exiting 行为的差距，通过联合优化权重预测网络和网络主干模型，在训练期间模拟其在推理期间的自适应行为，从而提高分类准确度和推理效率的权衡。

    Sep, 2022

  • 通过强制条件单调性实现早期退出结构的任意时刻分类

    本研究提出了一种基于 Product-of-Experts 的修改方法，使得早期退出网络在计算过程中逐渐变得自信，并具有预测质量的条件单调性，从而在保持竞争力的前提下实现了真正的任意时间预测建模。

    Jun, 2023

  • EERO: 早期退出与拒绝选项的有限预算高效分类

    本研究提出了一种名为 EERO 的新方法，将早期退出的问题转化为使用具有拒绝选项的多个分类器的问题，以更好地选择每个实例的退出头。实验证明，该方法不仅有效管理预算分配，而且在超思考场景中提高了准确性。

    Feb, 2024

  • SplitEE：深度神经网络中的分割计算早期退出

    将早期退出和拆分计算相结合，开发了一种在线无监督学习算法 SplitEE，通过在资源受限设备中选择性计算和外部计算，实现了大幅降低成本（>50%）并略微降低准确性（<2%）的效果。

    Sep, 2023

  • 加速推理与减少遗忘：早退出网络在持续学习中的双重好处

    通过实验证明，早期退出网络和持续学习之间存在内在的协同作用，强调它们在资源受限环境中的实际效用。

    Mar, 2024