该研究针对移动设备上的深度神经网络的推断，使用自适应模型划分的方法解决了通信延迟的问题，并对准确性进行了预测和校准，从而实现更可靠的推断决策。

Oct, 2020

将早期退出和拆分计算相结合，开发了一种在线无监督学习算法 SplitEE，通过在资源受限设备中选择性计算和外部计算，实现了大幅降低成本（>50%）并略微降低准确性（<2%）的效果。

Sep, 2023

本论文探讨了 DNN 在资源受限的边缘设备上部署的优化问题，并研究了四种边缘智能场景下的深度学习方法，通过减少 DNN 冗余度来达到资源消耗与模型准确度之间的平衡。

Oct, 2022

最近深度神经网络（DNN）的进展源于其在各个领域的出色性能。然而，它们天生的庞大大小限制了将这些网络部署到资源受限的设备，如边缘、移动和物联网平台。我们的工作提出了一种创新的统一方法，将早期退出和分裂计算合并在一起。考虑准确性、计算效率和通信成本，我们确定了 DNN 中边缘设备计算的最佳深度（分裂层），以及是否在边缘设备上进行推断或将其卸载到云中进行推断。此外，图像分类面临着各种环境失真的影响，受到时间、光照和天气等因素的影响。为了适应这些失真，我们引入了一种名为 I-SplitEE 的在线无监督算法，适用于缺乏基本事实和具有时序数据的场景。使用 Caltech-256 和 Cifar-10 数据集进行的实验证实证明了 I-SplitEE 能够通过最多降低 5% 的较小性能退化来将成本降低至少 55% 的能力。

Jan, 2024

本文提出了一种高效、灵活的 DNN 分区方法，通过迭代删除不重要的卷积层过滤器进行剪枝，从而减少移动设备的无线传输负担或总计算负担，并能够自动选择满足各种延迟和准确性要求的修剪过的模型。实验表明，与未剪枝的原始 DNN 模型相比，该框架在传输负载上可实现多达 25.6 倍的降低，总计算速度加快了 6.01 倍，端到端延迟降低了 4.81 倍。

Mar, 2019

该研究论文介绍了一种基于类别排除的动态推理方法，通过在中间层分配分类器并利用其学习到的特征排除尽可能多的无关类别，从而显著降低深度神经网络在推理中的计算成本。

Sep, 2023

分布式深度神经网络 (DDNN) 可以在云端、边缘设备和终端中适应深度神经网络的推断，由于其分布式特性，DDNN 增强了 DNN 应用程序的传感器融合、系统容错和数据隐私，通过将 DNN 映射到分布式计算层次结构中的不同组成部分并联合训练这些部分，我们最小化设备通信和资源使用并最大化提取特征的实用性。实验结果表明，DDNN 可以利用传感器的地理多样性来提高物体识别精度并减少通信成本。

Sep, 2017

本文提出了一种早期预测机制 'Exit Predictor'，通过引导某些明显 “困难” 的数据样本绕过早期出口的计算，从而降低设备边缘混合推理系统中早期退出网络的设备计算负担。同时，还考虑了通信带宽的变化，在延迟感知的边缘推理中通过几个简单的回归模型来调整 Exit Predictor 的预测阈值和早期退出网络的置信度阈值，以适应不同带宽条件下推理的需求。实验结果表明，Exit Predictor 对于早期退出网络在准确性和设备计算负担之间取得更好的折衷效果。与基线方法相比，在不同带宽条件下，提出的延迟感知的边缘推理方法具有更高的推理准确性。

Jun, 2022

该研究论文介绍了早期退出网络的设计方法和最新进展，比较了与其他高效推理解决方案的优劣，并提出了未来研究的挑战和方向。

Jun, 2021

介绍了在移动设备中使用深度神经网络技术的优劣，提出了通过分割计算和提前结束计算的方法，将深度神经网络分别部署在移动设备和云 / 边缘服务器上，最终可减少带宽和能耗，同时提高精度并根据当前需求调节精度与延迟之间的平衡。

Mar, 2021