通过利用流式雷达数据中的时间相关性，本文提出了一种利用早期退出神经网络在嵌入式设备上进行深度学习推理的新技术，以增强处理资源有限的嵌入式平台上数据流的处理效率。这些神经网络在架构的隐藏层之间添加了额外的分类器分支，允许在运行时决策机制认为其结果足够时提前终止推理，我们的方法能够更加明智地决定何时终止推理，减少计算成本同时最大限度地保持准确性损失最小。我们的结果表明，相比于单一退出网络和基于置信度的早期退出版本，我们的技术每次推理节省了多达 26% 的操作，我们提出的技术适用于通用硬件并可以与传统优化相结合，使其适用于资源有限的嵌入式平台，这在智能设备中经常使用。这种效率提升使得在资源受限平台上进行实时雷达数据处理成为可能，并在智能家居、物联网和人机交互等领域推出了新的应用。

Sep, 2023

本文提出了一种早期预测机制 'Exit Predictor'，通过引导某些明显 “困难” 的数据样本绕过早期出口的计算，从而降低设备边缘混合推理系统中早期退出网络的设备计算负担。同时，还考虑了通信带宽的变化，在延迟感知的边缘推理中通过几个简单的回归模型来调整 Exit Predictor 的预测阈值和早期退出网络的置信度阈值，以适应不同带宽条件下推理的需求。实验结果表明，Exit Predictor 对于早期退出网络在准确性和设备计算负担之间取得更好的折衷效果。与基线方法相比，在不同带宽条件下，提出的延迟感知的边缘推理方法具有更高的推理准确性。

Jun, 2022

协作推理系统是在无线网络边缘部署深度神经网络的新兴解决方案之一。本研究工作通过评估不同的传输决策机制，实验证明在无线边缘上适当利用早期退出可以在图像分类任务中提供性能增益和显著的通信节省。

Nov, 2023

借鉴人脑的高效率和低功耗，本文提出了一种基于预测编码理论和动态提前终止的浅双向网络，以加入硬件有限资源在设计过程中，实现在 CIFAR-10 图像分类上与 VGG-16 相当准确率的结果，使用更少的参数和较低的计算复杂度。

Sep, 2023

通过实验证明，早期退出网络和持续学习之间存在内在的协同作用，强调它们在资源受限环境中的实际效用。

Mar, 2024

本研究提出了一种基于多目标学习的多出口深度神经网络推理框架 EENet，以优化在给定推理预算下的早期退出策略。 EENet 早期退出调度程序优化测试样本分配到不同退出，同时选择退出效用阈值，以满足给定的推理预算，同时最大化性能指标。与现有代表性早期退出技术相比，EENet 可以显着提高性能。

Jan, 2023

该研究论文介绍了一种基于类别排除的动态推理方法，通过在中间层分配分类器并利用其学习到的特征排除尽可能多的无关类别，从而显著降低深度神经网络在推理中的计算成本。

Sep, 2023

该研究论文介绍了早期退出网络的设计方法和最新进展，比较了与其他高效推理解决方案的优劣，并提出了未来研究的挑战和方向。

Jun, 2021

本研究提出了一种基于 Product-of-Experts 的修改方法，使得早期退出网络在计算过程中逐渐变得自信，并具有预测质量的条件单调性，从而在保持竞争力的前提下实现了真正的任意时间预测建模。

Jun, 2023

通过使用早期退出结构，我们研究了用于大词汇语音识别的动态模型，这些模型可以根据可用资源和识别性能自动调整其计算成本。与以前的工作不同的是，我们不仅使用预训练的骨干网络，还使用早期退出结构从头开始训练模型。通过在公共数据集上的实验证明，与使用较少编码器层或使用预训练模型相比，从头开始的早期退出结构不仅保持了性能水平，还提高了任务准确性。此外，我们还研究了一种基于后验概率的退出选择策略，作为基于帧熵的替代方案。

Sep, 2023