最近深度神经网络（DNN）的进展源于其在各个领域的出色性能。然而，它们天生的庞大大小限制了将这些网络部署到资源受限的设备，如边缘、移动和物联网平台。我们的工作提出了一种创新的统一方法，将早期退出和分裂计算合并在一起。考虑准确性、计算效率和通信成本，我们确定了 DNN 中边缘设备计算的最佳深度（分裂层），以及是否在边缘设备上进行推断或将其卸载到云中进行推断。此外，图像分类面临着各种环境失真的影响，受到时间、光照和天气等因素的影响。为了适应这些失真，我们引入了一种名为 I-SplitEE 的在线无监督算法，适用于缺乏基本事实和具有时序数据的场景。使用 Caltech-256 和 Cifar-10 数据集进行的实验证实证明了 I-SplitEE 能够通过最多降低 5% 的较小性能退化来将成本降低至少 55% 的能力。

Jan, 2024

介绍了在移动设备中使用深度神经网络技术的优劣，提出了通过分割计算和提前结束计算的方法，将深度神经网络分别部署在移动设备和云 / 边缘服务器上，最终可减少带宽和能耗，同时提高精度并根据当前需求调节精度与延迟之间的平衡。

Mar, 2021

本研究提出了一种基于动态选择拆分位置的动态拆分计算模型，通过利用现代深度神经网络结构中已有的瓶颈，避免了重新训练和超参数优化，并没有对深度神经网络的最终准确性产生任何负面影响。大量实验证明，动态拆分计算模型在边缘计算环境中可以实现更快的推理。

May, 2022

本研究提出了一种基于多目标学习的多出口深度神经网络推理框架 EENet，以优化在给定推理预算下的早期退出策略。 EENet 早期退出调度程序优化测试样本分配到不同退出，同时选择退出效用阈值，以满足给定的推理预算，同时最大化性能指标。与现有代表性早期退出技术相比，EENet 可以显着提高性能。

Jan, 2023

在边缘计算和分布式计算的背景下，通过使用基于可改变编码器的分层执行，我们提出了一种创新的拆分计算方法，该方法可以实时适应计算负载和传输的数据大小，而不会对移动设备造成太大的计算负荷，从而提高了压缩效率和执行时间。

Jun, 2023

本文提出了一种早期预测机制 'Exit Predictor'，通过引导某些明显 “困难” 的数据样本绕过早期出口的计算，从而降低设备边缘混合推理系统中早期退出网络的设备计算负担。同时，还考虑了通信带宽的变化，在延迟感知的边缘推理中通过几个简单的回归模型来调整 Exit Predictor 的预测阈值和早期退出网络的置信度阈值，以适应不同带宽条件下推理的需求。实验结果表明，Exit Predictor 对于早期退出网络在准确性和设备计算负担之间取得更好的折衷效果。与基线方法相比，在不同带宽条件下，提出的延迟感知的边缘推理方法具有更高的推理准确性。

Jun, 2022

通过专家侧支分支在边缘检测图像扭曲类型并根据该类型选择正确的侧支分支来执行推理的方法提高了边缘推理的估计精度，改善了边缘卸载决策。

Aug, 2021

协作推理系统是在无线网络边缘部署深度神经网络的新兴解决方案之一。本研究工作通过评估不同的传输决策机制，实验证明在无线边缘上适当利用早期退出可以在图像分类任务中提供性能增益和显著的通信节省。

Nov, 2023

这篇论文提出了一种基于强化学习的 AI 策略 SplitPlace，可以智能决策基于边缘计算的需求，采用分层或语义分割策略，对神经网络进行分割并将其部署在资源受限的移动边缘设备上，实现高效可扩展的计算。实验表明，SplitPlace 可以显著提高平均响应时间、截止日期违规率、推断准确度和总奖励达 46％，69％，3％和 12％。

May, 2022

"UEE-UCB" 是一种基于 Upper Confidence Bound (UCB) 算法的多出口深度神经网络 (DNNs) 优化方法，利用 bandit 理论来识别多出口 DNNs 中的最优退出点，并能够适应性地学习特定领域的最优退出点。

Sep, 2022