通过强制条件单调性实现早期退出结构的任意时刻分类
本文提出了一种早期预测机制 'Exit Predictor',通过引导某些明显 “困难” 的数据样本绕过早期出口的计算,从而降低设备边缘混合推理系统中早期退出网络的设备计算负担。同时,还考虑了通信带宽的变化,在延迟感知的边缘推理中通过几个简单的回归模型来调整 Exit Predictor 的预测阈值和早期退出网络的置信度阈值,以适应不同带宽条件下推理的需求。实验结果表明,Exit Predictor 对于早期退出网络在准确性和设备计算负担之间取得更好的折衷效果。与基线方法相比,在不同带宽条件下,提出的延迟感知的边缘推理方法具有更高的推理准确性。
Jun, 2022
本研究提出了一种基于多目标学习的多出口深度神经网络推理框架 EENet,以优化在给定推理预算下的早期退出策略。 EENet 早期退出调度程序优化测试样本分配到不同退出,同时选择退出效用阈值,以满足给定的推理预算,同时最大化性能指标。与现有代表性早期退出技术相比,EENet 可以显着提高性能。
Jan, 2023
本研究介绍了一种多输出深度神经网络,它具有提高推理速度、减少过拟合以及利用多层次计算平台的优势,并描述了在 5G 和雾计算环境中的应用场景以及相关的开放式研究问题。
Apr, 2020
通过使用早期退出结构,我们研究了用于大词汇语音识别的动态模型,这些模型可以根据可用资源和识别性能自动调整其计算成本。与以前的工作不同的是,我们不仅使用预训练的骨干网络,还使用早期退出结构从头开始训练模型。通过在公共数据集上的实验证明,与使用较少编码器层或使用预训练模型相比,从头开始的早期退出结构不仅保持了性能水平,还提高了任务准确性。此外,我们还研究了一种基于后验概率的退出选择策略,作为基于帧熵的替代方案。
Sep, 2023
本文提出了一种利用早期退出支路来降低计算量的方法,并在两种最先进的生成任务模型上应用,即从语义映射中生成和面部表情的交叉重演,可以输出具有自定义较低质量阈值的图像,尤其适用于实时应用场景。
Apr, 2023
该研究论文介绍了一种基于类别排除的动态推理方法,通过在中间层分配分类器并利用其学习到的特征排除尽可能多的无关类别,从而显著降低深度神经网络在推理中的计算成本。
Sep, 2023