本文介绍一种新颖的深度网络架构——BranchyNet，该架构通过引入额外的支路分类器，允许预测结果提前退出网络，实现较高置信度下的快速推理，以此同时提高网络的分类准确度，并有效地降低网络的推理时间。

Sep, 2017

该研究论文介绍了早期退出网络的设计方法和最新进展，比较了与其他高效推理解决方案的优劣，并提出了未来研究的挑战和方向。

Jun, 2021

本文提出了一种早期预测机制 'Exit Predictor'，通过引导某些明显“困难”的数据样本绕过早期出口的计算，从而降低设备边缘混合推理系统中早期退出网络的设备计算负担。同时，还考虑了通信带宽的变化，在延迟感知的边缘推理中通过几个简单的回归模型来调整Exit Predictor的预测阈值和早期退出网络的置信度阈值，以适应不同带宽条件下推理的需求。实验结果表明，Exit Predictor 对于早期退出网络在准确性和设备计算负担之间取得更好的折衷效果。与基线方法相比，在不同带宽条件下，提出的延迟感知的边缘推理方法具有更高的推理准确性。

Jun, 2022

本研究提出了一种基于多目标学习的多出口深度神经网络推理框架EENet，以优化在给定推理预算下的早期退出策略。 EENet早期退出调度程序优化测试样本分配到不同退出，同时选择退出效用阈值，以满足给定的推理预算，同时最大化性能指标。与现有代表性早期退出技术相比，EENet可以显着提高性能。

Jan, 2023

DNNShifter是一个端到端的DNN训练、空间修剪和模型切换系统，通过采用结构化修剪的新方法，快速地生成适用于边缘推理的模型变体，这些模型变体比密集模型小且快速，并且在保持相似精度的同时，产生出高效的推理延迟和低开销模型切换和内存利用。

Sep, 2023

该研究论文介绍了一种基于类别排除的动态推理方法，通过在中间层分配分类器并利用其学习到的特征排除尽可能多的无关类别，从而显著降低深度神经网络在推理中的计算成本。

Sep, 2023

大型预训练模型与微调相结合，在机器学习中逐渐成为主要的架构。早期退出动态神经网络（EDNN）通过允许模型从中间层进行预测（即早期退出），绕过了每个推理所需的资源过多的限制。我们提出了一种连接这两个模块的新型架构，这在分类数据集上带来了显著的性能提升，并且具有更好的不确定性特征。

Oct, 2023

协作推理系统是在无线网络边缘部署深度神经网络的新兴解决方案之一。本研究工作通过评估不同的传输决策机制，实验证明在无线边缘上适当利用早期退出可以在图像分类任务中提供性能增益和显著的通信节省。

Nov, 2023

对计算机视觉的深度学习系统进行综合评估，发现数据处理和系统吞吐量是深度学习应用性能的重要瓶颈，并提出了更全面的深度学习系统设计方法。

Mar, 2024

本研究解决了卷积神经网络（CNN）在推理过程中计算成本过高的问题。我们提出了一种名为“早期退出卷积神经网络”（EENets）的方法，通过在特定位置提前停止推理，动态适应计算需求，从而提高了处理简单样本的效率。研究表明，EENets能够在保持与非早期退出网络相似的准确性的同时，将计算成本降低至原来的20%。

Sep, 2024