MMJul, 2022

基于边缘计算无缝协作的分布式深度学习推理加速

PDF
TL;DR本文研究了使用分布式卷积神经网络（CNN）在协作边缘计算中进行推理加速。我们考虑了分段分区时的感受野，以确保推理准确度。为了最大化通信和计算进程之间的并行性，从而最小化推理任务的总时间，我们设计了一种新颖的任务协作方案，称为 HALP。实验证明，HALP 可以使 VGG-16 中 CNN 推理的速度提高 1.7-2.0 倍，对于 4 个任务每批次的速度提高 1.7-1.8 倍，这优于最先进的 MoDNN 方案。此外，我们评估了时变信道下的服务可靠性，表明 HALP 是确保高服务可靠性的有效解决方案。
inference accelerationdistributed convolutional neural networksedge computingtask collaboration schemeservice reliability
发现论文，激发创造
  • 基于感受野的分布式 CNN 推理加速在协同边缘计算中的分割

    本文研究使用卷积神经网络在协作边缘计算网络中进行推理加速，提出了使用基于感受野的分割来避免推理任务划分中的推理准确度损失，提出了一种新颖的合作式边缘计算方法，使用融合层并行化将 CNN 模型划分为多个卷积层块，使用 DPFP 动态规划找到将 CNN 模型划分为多个块的最优解，实验结果表明，DPFP 可以将 VGG-16 的推理加速高达 73％，服务可靠性高。

    Jul, 2022

  • CoEdge: 基於異構邊緣設備的自適應工作負載分配合作式 DNN 推論

    本研究提出一种名为 CoEdge 的分布式深度神经网络计算系统，优化了边缘设备的计算和通信资源，在许多共同参与的异构边缘设备上进行协同深度神经网络计算，与现有方法相比，CoEdge 在降低能耗方面更具优势。

    Dec, 2020

  • 实现边缘智能动态卷积神经网络推理的探索

    本研究提出了动态流式传输模型参数和基于库的方法来实现传统 CNN 架构的可扩展和动态分布式 CNN 推断，利用部分重构技术提高了资源受限的边缘设备的性能，并在 Xilinx PYNQ-Z2 板上实现了 LeNet-5 CNN 模型，具有 92％，86％和 94％的分类准确率。

    Feb, 2022

  • 面向协作边缘平台的自适应工作负载分配用于重视准确性的深度神经网络推理

    在本研究中，我们提出了一种自适应工作负载分配方法，联合考虑边缘设备的节点异构性以及应用特定的准确性和性能要求，通过组合优化异构感知的工作负载分割和动态准确配置 DNN 模型，以确保性能和准确度保证。我们在 Odroid XU4、Raspberry Pi4 和 Jetson Nano 板的边缘集群上进行了测试，并与最先进的工作负载分配策略相比，平均性能提升了 41.52%，输出准确度提升了 5.2%。

    Oct, 2023

  • 工业物联网中基于深度强化学习的协作 DNN 推断保证准确性

    本文研究了工业物联网网络中协作深度神经网络推理问题，提出了一种基于深度强化学习的算法，将动态配置物联网设备的采样率、推理任务卸载和边缘计算资源分配共同考虑，通过转化为马尔可夫决策过程来最小化服务延迟并保证准确性。

    Dec, 2022

  • AutoDiCE: 边缘全自动分布式 CNN 推理

    本文提出了名为 AutoDiCE 的框架，该框架可自动将卷积神经网络模型分割成多个子模型，并自动生成代码以在多个边缘设备上执行这些子模型，从而支持边缘计算中的分布式 CNN 推断。实验结果表明 AutoDiCE 能够以更少的能量和内存使用量实现分布式 CNN 推断，并提高整个系统的吞吐量。

    Jul, 2022

  • SPINN: 设备和云上神经网络的协同渐进推理

    本文提出了 SPINN 系统，利用分布式计算和渐进推理方法共同实现设备云协同计算，并引入了一种新的调度程序，通过合理设置早期退出策略和 CNN 分割，以适应动态条件和满足用户定义的服务水平要求，以达到快速和强大的 CNN 推理。定量评估表明，在不同网络条件下，SPINN 的吞吐量高达其最先进的协作推理对手的 2 倍，将服务器成本降低了多达 6.8 倍，并在延迟限制下提高精度 20.7％，同时在不确定的连接条件下提供稳健操作和与云为中心的执行相比显著的节能。

    Aug, 2020

  • 边缘智能：设备 - 边缘协同，按需深度学习模型协同推理

    提出了 Edgent，这是一种协作和按需的 DNN 合作推理框架，其旨在通过在设备和边缘之间自适应地分配 DNN 计算来提高实时 DNN 推理的性能，并通过在适当的中间 DNN 层进行早期退出来加速 DNN 推理。

    Jun, 2018

  • 机器学习辅助的卷积神经网络推断系统计算机架构设计

    我们的工作通过识别最合适的 GPGPU 用于 CNN 推理系统，提出了一种加快 DSE 过程的方法。我们开发了一种快速而精确的技术来预测 CNN 推理过程中的功耗和性能，MAPE 分别为 5.03％和 5.94％。这种方法使计算机架构师能够在开发初期估计功耗和性能，减少了大量原型的必要性。这不仅节省了时间和金钱，同时也改善了上市时间。

    Aug, 2023

  • 移动边缘云计算中基于混合并行的快速层次化边缘人工智能学习

    提出了一种名为 HierTrain 的层次化边缘 AI 学习框架，使用深度神经网络在移动边缘云计算中进行训练，采用了新型的混合并行方法，旨在在边缘设备、边缘服务器和云中进行 DNN 模型层次的自适应分配，该框架在硬件原型上实现，比基于云的 Hierarchical Training 方法快了多达 6.9 倍。

    Mar, 2020