本研究提出了一种基于多目标学习的多出口深度神经网络推理框架 EENet，以优化在给定推理预算下的早期退出策略。 EENet 早期退出调度程序优化测试样本分配到不同退出，同时选择退出效用阈值，以满足给定的推理预算，同时最大化性能指标。与现有代表性早期退出技术相比，EENet 可以显着提高性能。

Jan, 2023

我们提出了一种自动增强流程，将现有模型转换为 EENN，并为异构或分布式硬件目标执行所有必需的设计决策。我们的方法在物联网和标准图像分类用例中都能有效降低推理成本，并大大减少 EENNs 的搜索成本，提高了神经网络在各种实际应用中的效率。

Mar, 2024

该研究论文介绍了早期退出网络的设计方法和最新进展，比较了与其他高效推理解决方案的优劣，并提出了未来研究的挑战和方向。

Jun, 2021

通过神经架构搜索，设计硬件受限的早退出神经网络（NACHOS），在考虑准确度和乘加操作数量的约束下，实现了主干和辅助分类器的联合设计，以在准确度和乘加操作数量之间取得最佳权衡。NACHOS 设计的模型具有与最先进的早退神经网络竞争力的结果。

Jan, 2024

本研究介绍了一种多输出深度神经网络，它具有提高推理速度、减少过拟合以及利用多层次计算平台的优势，并描述了在 5G 和雾计算环境中的应用场景以及相关的开放式研究问题。

Apr, 2020

大型预训练模型与微调相结合，在机器学习中逐渐成为主要的架构。早期退出动态神经网络（EDNN）通过允许模型从中间层进行预测（即早期退出），绕过了每个推理所需的资源过多的限制。我们提出了一种连接这两个模块的新型架构，这在分类数据集上带来了显著的性能提升，并且具有更好的不确定性特征。

Oct, 2023

本文提出了一种早期预测机制 'Exit Predictor'，通过引导某些明显 “困难” 的数据样本绕过早期出口的计算，从而降低设备边缘混合推理系统中早期退出网络的设备计算负担。同时，还考虑了通信带宽的变化，在延迟感知的边缘推理中通过几个简单的回归模型来调整 Exit Predictor 的预测阈值和早期退出网络的置信度阈值，以适应不同带宽条件下推理的需求。实验结果表明，Exit Predictor 对于早期退出网络在准确性和设备计算负担之间取得更好的折衷效果。与基线方法相比，在不同带宽条件下，提出的延迟感知的边缘推理方法具有更高的推理准确性。

Jun, 2022

本研究提出了一种基于 Product-of-Experts 的修改方法，使得早期退出网络在计算过程中逐渐变得自信，并具有预测质量的条件单调性，从而在保持竞争力的前提下实现了真正的任意时间预测建模。

Jun, 2023

通过实验证明，早期退出网络和持续学习之间存在内在的协同作用，强调它们在资源受限环境中的实际效用。

Mar, 2024

本文研究了将 Deep Ensembles 方法扩展到与不确定性评估相关的任务，提出了一种在接近二元决策边界的窗口内传递样本以实现早期退出的新方法，并发现级联 / 集成模型在 OOD 数据上比模型扩展更可靠。

Mar, 2023