Oct, 2023

面向协作边缘平台的自适应工作负载分配用于重视准确性的深度神经网络推理

PDF
TL;DR在本研究中，我们提出了一种自适应工作负载分配方法，联合考虑边缘设备的节点异构性以及应用特定的准确性和性能要求，通过组合优化异构感知的工作负载分割和动态准确配置 DNN 模型，以确保性能和准确度保证。我们在 Odroid XU4、Raspberry Pi4 和 Jetson Nano 板的边缘集群上进行了测试，并与最先进的工作负载分配策略相比，平均性能提升了 41.52%，输出准确度提升了 5.2%。
发现论文，激发创造
  • CoEdge: 基於異構邊緣設備的自適應工作負載分配合作式 DNN 推論

    本研究提出一种名为 CoEdge 的分布式深度神经网络计算系统，优化了边缘设备的计算和通信资源，在许多共同参与的异构边缘设备上进行协同深度神经网络计算，与现有方法相比，CoEdge 在降低能耗方面更具优势。

    Dec, 2020

  • 通过深度神经网络的自适应模型分割辅助校准边缘推断卸载

    该研究针对移动设备上的深度神经网络的推断，使用自适应模型划分的方法解决了通信延迟的问题，并对准确性进行了预测和校准，从而实现更可靠的推断决策。

    Oct, 2020

  • 边缘智能：设备 - 边缘协同，按需深度学习模型协同推理

    提出了 Edgent，这是一种协作和按需的 DNN 合作推理框架，其旨在通过在设备和边缘之间自适应地分配 DNN 计算来提高实时 DNN 推理的性能，并通过在适当的中间 DNN 层进行早期退出来加速 DNN 推理。

    Jun, 2018

  • 边缘人工智能：通过边缘计算加速深度神经网络推理

    该论文提出了一种基于边缘计算的 DNN 协同推理框架 Edgent，通过 DNN 分区和权衡设备的云资源和临近边缘资源来协调实时的 DNN 推理，进而降低计算延迟，实现低延迟边缘智能处理。

    Oct, 2019

  • 边缘设备上的分布式深度学习：通过自适应压缩实现可行性

    本研究提出了一种名为 adaComp 的新算法，结合了梯度选择和学习率调节，在分布式深度学习计算中实现了 worker 更新模型数据压缩，通过在模拟平台上嵌入 TensorFlow 到 Linux 容器中进行实验，并报告相对于标准异步随机梯度下降，在保持模型精度的同时，将工人发送到服务器的总数据量减少了两个数量级（例如，在 MNIST 数据集上的卷积网络中，减少了 191 倍）

    Feb, 2017

  • 具有模型压缩的异构边缘设备上具有容错性的分布式推理

    RoCoIn 是一种用于异构边缘设备上本地分布式执行深度神经网络推断任务的稳健合作推断机制，通过知识蒸馏从大型模型中学习独立而紧凑的学生模型，并以冗余方式部署和执行相同的学生模型以提高推断过程的容错性和系统响应速度。与几种基线方法相比，广泛的模拟验证了我们的 RoCoIn 在分布式推断中的卓越性能，并证明了其在及时推断和容错能力方面的有效性。

    Jun, 2024

  • 适应性 ResNet 架构用于资源受限的物联网系统中的分布式推理

    本文通过实证研究，鉴定了 ResNet 中可舍弃的连接，以实现在资源不足情况下的分布式计算；同时，提出了一个多目标优化问题，旨在减少延迟、提高准确性；实验证明了自适应的 ResNet 架构可以在分布过程中减少共享数据、能耗和延迟，同时保持高准确性。

    Jul, 2023

  • 基于边缘计算无缝协作的分布式深度学习推理加速

    本文研究了使用分布式卷积神经网络（CNN）在协作边缘计算中进行推理加速。我们考虑了分段分区时的感受野，以确保推理准确度。为了最大化通信和计算进程之间的并行性，从而最小化推理任务的总时间，我们设计了一种新颖的任务协作方案，称为 HALP。实验证明，HALP 可以使 VGG-16 中 CNN 推理的速度提高 1.7-2.0 倍，对于 4 个任务每批次的速度提高 1.7-1.8 倍，这优于最先进的 MoDNN 方案。此外，我们评估了时变信道下的服务可靠性，表明 HALP 是确保高服务可靠性的有效解决方案。

    Jul, 2022

  • 边缘设备上实现深度学习

    本论文探讨了 DNN 在资源受限的边缘设备上部署的优化问题，并研究了四种边缘智能场景下的深度学习方法，通过减少 DNN 冗余度来达到资源消耗与模型准确度之间的平衡。

    Oct, 2022

  • 面向云边协同推断的神经网络自动调谐量化框架

    本论文阐述了在深度神经网络方面的云端和边缘协作推断在量化方面的优势，提出了一种基于自动调谐的神经网络量化框架，利用 ImageNet 数据集进行了混合精度合作推理的有效性研究，实验结果显示，该框架可以生成合理的网络分割，并减小移动设备上的存储消耗，同时能够保持较高的准确率。

    Dec, 2018