Jul, 2022

AutoDiCE: 边缘全自动分布式 CNN 推理

PDF
TL;DR本文提出了名为 AutoDiCE 的框架，该框架可自动将卷积神经网络模型分割成多个子模型，并自动生成代码以在多个边缘设备上执行这些子模型，从而支持边缘计算中的分布式 CNN 推断。实验结果表明 AutoDiCE 能够以更少的能量和内存使用量实现分布式 CNN 推断，并提高整个系统的吞吐量。
deep learningconvolutional neural networksmodel inferenceedge computingautodice
发现论文，激发创造
  • CoEdge: 基於異構邊緣設備的自適應工作負載分配合作式 DNN 推論

    本研究提出一种名为 CoEdge 的分布式深度神经网络计算系统，优化了边缘设备的计算和通信资源，在许多共同参与的异构边缘设备上进行协同深度神经网络计算，与现有方法相比，CoEdge 在降低能耗方面更具优势。

    Dec, 2020

  • Auto-Split：协同边缘云 AI 的通用框架

    探讨了华为云的 Auto-Split 系统采用的边缘 - 云协作技术，实现了高效的深度学习模型部署和推理，为行业级应用提供新的解决方案。

    Aug, 2021

  • 通过深度神经网络的自适应模型分割辅助校准边缘推断卸载

    该研究针对移动设备上的深度神经网络的推断，使用自适应模型划分的方法解决了通信延迟的问题，并对准确性进行了预测和校准，从而实现更可靠的推断决策。

    Oct, 2020

  • 边缘智能：设备 - 边缘协同，按需深度学习模型协同推理

    提出了 Edgent，这是一种协作和按需的 DNN 合作推理框架，其旨在通过在设备和边缘之间自适应地分配 DNN 计算来提高实时 DNN 推理的性能，并通过在适当的中间 DNN 层进行早期退出来加速 DNN 推理。

    Jun, 2018

  • 设备边缘协同推理系统上的图神经网络自动设计和部署

    GCoDE 是第一个自动化的图神经网络（GNN）框架，它在设备边缘层次结构上创新地共同设计了架构搜索和每个操作的映射，通过性能意识的方法实现了在多样化的异构系统中的架构效率的有效评估，实验结果表明，与现有方法相比，在各种应用和系统配置中，GCoDE 可以实现高达 44.9 倍的加速和 98.2% 的能量节约。

    Apr, 2024

  • 边缘设备上实现深度学习

    本论文探讨了 DNN 在资源受限的边缘设备上部署的优化问题，并研究了四种边缘智能场景下的深度学习方法，通过减少 DNN 冗余度来达到资源消耗与模型准确度之间的平衡。

    Oct, 2022

  • 一种面向边缘低延迟和高能效的 DNN 推理的转换自编码器

    提出了一种基于自动编码器和轻量级 DNN 的新颖方法，用于在资源受限的边缘设备上减少推理时间和能源消耗，实验证明其在推理延迟上可以获得高达 4.8 倍的加速，并且在准确率方面保持相似或更高的情况下降低了 79％的能源使用。

    Mar, 2024

  • 边缘人工智能：通过边缘计算加速深度神经网络推理

    该论文提出了一种基于边缘计算的 DNN 协同推理框架 Edgent，通过 DNN 分区和权衡设备的云资源和临近边缘资源来协调实时的 DNN 推理，进而降低计算延迟，实现低延迟边缘智能处理。

    Oct, 2019

  • 基于软 Actor-Critic 的自适应设备 - 边缘联合推理框架

    提出了一种基于 Deep Neural Network（DNN）模型的 IoT 设备与边缘协同计算框架，通过多分支结构、智能早停、硬件中间分割与整数量化等技术实现了优秀的通信负载和执行精度平衡，结合基于 Soft Actor Critic（SAC-d）的深度强化学习优化算法实现了动态无线通道和任意 CPU 处理下的适应性支持，并在树莓派 4 和 PC 上进行了实验。

    Jan, 2022

  • 高效的深度边缘智能动态分割计算

    本研究提出了一种基于动态选择拆分位置的动态拆分计算模型，通过利用现代深度神经网络结构中已有的瓶颈，避免了重新训练和超参数优化，并没有对深度神经网络的最终准确性产生任何负面影响。大量实验证明，动态拆分计算模型在边缘计算环境中可以实现更快的推理。

    May, 2022