MMJan, 2024

I-SplitEE: 利用提前退出技术的分布式计算深度神经网络的图像分类

PDF
TL;DR最近深度神经网络（DNN）的进展源于其在各个领域的出色性能。然而，它们天生的庞大大小限制了将这些网络部署到资源受限的设备，如边缘、移动和物联网平台。我们的工作提出了一种创新的统一方法，将早期退出和分裂计算合并在一起。考虑准确性、计算效率和通信成本，我们确定了 DNN 中边缘设备计算的最佳深度（分裂层），以及是否在边缘设备上进行推断或将其卸载到云中进行推断。此外，图像分类面临着各种环境失真的影响，受到时间、光照和天气等因素的影响。为了适应这些失真，我们引入了一种名为 I-SplitEE 的在线无监督算法，适用于缺乏基本事实和具有时序数据的场景。使用 Caltech-256 和 Cifar-10 数据集进行的实验证实证明了 I-SplitEE 能够通过最多降低 5% 的较小性能退化来将成本降低至少 55% 的能力。
发现论文，激发创造
  • SplitEE：深度神经网络中的分割计算早期退出

    将早期退出和拆分计算相结合，开发了一种在线无监督学习算法 SplitEE，通过在资源受限设备中选择性计算和外部计算，实现了大幅降低成本（>50%）并略微降低准确性（<2%）的效果。

    Sep, 2023

  • 分裂计算和提前退出在深度学习应用中的应用：调研和研究挑战

    介绍了在移动设备中使用深度神经网络技术的优劣，提出了通过分割计算和提前结束计算的方法，将深度神经网络分别部署在移动设备和云 / 边缘服务器上，最终可减少带宽和能耗，同时提高精度并根据当前需求调节精度与延迟之间的平衡。

    Mar, 2021

  • 高效的深度边缘智能动态分割计算

    本研究提出了一种基于动态选择拆分位置的动态拆分计算模型，通过利用现代深度神经网络结构中已有的瓶颈，避免了重新训练和超参数优化，并没有对深度神经网络的最终准确性产生任何负面影响。大量实验证明，动态拆分计算模型在边缘计算环境中可以实现更快的推理。

    May, 2022

  • 失真图像的早期退出深度神经网络：提供高效的边缘卸载

    通过专家侧支分支在边缘检测图像扭曲类型并根据该类型选择正确的侧支分支来执行推理的方法提高了边缘推理的估计精度，改善了边缘卸载决策。

    Aug, 2021

  • EENet: 适应推理的学习早期退出

    本研究提出了一种基于多目标学习的多出口深度神经网络推理框架 EENet，以优化在给定推理预算下的早期退出策略。 EENet 早期退出调度程序优化测试样本分配到不同退出，同时选择退出效用阈值，以满足给定的推理预算，同时最大化性能指标。与现有代表性早期退出技术相比，EENet 可以显着提高性能。

    Jan, 2023

  • SplitPlace: 移动边缘环境中大规模神经网络的 AI 增强分裂和放置

    这篇论文提出了一种基于强化学习的 AI 策略 SplitPlace，可以智能决策基于边缘计算的需求，采用分层或语义分割策略，对神经网络进行分割并将其部署在资源受限的移动边缘设备上，实现高效可扩展的计算。实验表明，SplitPlace 可以显著提高平均响应时间、截止日期违规率、推断准确度和总奖励达 46％，69％，3％和 12％。

    May, 2022

  • 面向带宽和资源受限的物联网系统的灵活分割 DNN 的精简编码器

    在边缘计算和分布式计算的背景下，通过使用基于可改变编码器的分层执行，我们提出了一种创新的拆分计算方法，该方法可以实时适应计算负载和传输的数据大小，而不会对移动设备造成太大的计算负荷，从而提高了压缩效率和执行时间。

    Jun, 2023

  • 早期退出预测的资源受限边缘人工智能

    本文提出了一种早期预测机制 'Exit Predictor'，通过引导某些明显 “困难” 的数据样本绕过早期出口的计算，从而降低设备边缘混合推理系统中早期退出网络的设备计算负担。同时，还考虑了通信带宽的变化，在延迟感知的边缘推理中通过几个简单的回归模型来调整 Exit Predictor 的预测阈值和早期退出网络的置信度阈值，以适应不同带宽条件下推理的需求。实验结果表明，Exit Predictor 对于早期退出网络在准确性和设备计算负担之间取得更好的折衷效果。与基线方法相比，在不同带宽条件下，提出的延迟感知的边缘推理方法具有更高的推理准确性。

    Jun, 2022

  • SplitNets：面向头戴系统的高效分布式计算神经网络设计

    在给定的硬件资源约束下，我们设计了深度神经网络，对应的网络拆分来将 DNN 的工作负载分配到摄像头传感器和中央聚合器上的头戴设备上，以满足系统性能目标，通过 SplitNets 框架进行模型设计、拆分和通信减少，进一步扩展框架用于多视图系统，以实现从多个相机传感器中输入的最佳性能和系统效率的融合学习，并在 ImageNet 和 3D 分类的单视图及多视图系统上验证拆分网络的表现优于现有方法。

    Apr, 2022

  • Auto-Split：协同边缘云 AI 的通用框架

    探讨了华为云的 Auto-Split 系统采用的边缘 - 云协作技术，实现了高效的深度学习模型部署和推理，为行业级应用提供新的解决方案。

    Aug, 2021