Nov, 2023

AccEPT：边缘管道并行训练加速方案

PDF
TL;DR本文提出了 AccEPT，一种用于加速边缘协同流水线 - 并行训练的加速方案，其中包括轻量级自适应延迟预测器以准确估计不同设备上每一层的计算延迟，并通过连续学习适应未见过的设备，以实现更好的模型划分来平衡参与设备上的计算负载。此外，我们还提出了一种位级计算高效的数据压缩方案，以在训练过程中压缩需要在设备间传输的数据。我们的数值结果表明，在考虑的实验设置中，我们提出的加速方法能够使边缘流水线并行训练的速度显著提高，最高可达到原来的 3 倍速度。
deep neural networkedge devicecollaborative traininglatency predictordata compression
发现论文，激发创造
  • 边缘设备上的分布式深度学习：通过自适应压缩实现可行性

    本研究提出了一种名为 adaComp 的新算法，结合了梯度选择和学习率调节，在分布式深度学习计算中实现了 worker 更新模型数据压缩，通过在模拟平台上嵌入 TensorFlow 到 Linux 容器中进行实验，并报告相对于标准异步随机梯度下降，在保持模型精度的同时，将工人发送到服务器的总数据量减少了两个数量级（例如，在 MNIST 数据集上的卷积网络中，减少了 191 倍）

    Feb, 2017

  • 基于边缘计算无缝协作的分布式深度学习推理加速

    本文研究了使用分布式卷积神经网络（CNN）在协作边缘计算中进行推理加速。我们考虑了分段分区时的感受野，以确保推理准确度。为了最大化通信和计算进程之间的并行性，从而最小化推理任务的总时间，我们设计了一种新颖的任务协作方案，称为 HALP。实验证明，HALP 可以使 VGG-16 中 CNN 推理的速度提高 1.7-2.0 倍，对于 4 个任务每批次的速度提高 1.7-1.8 倍，这优于最先进的 MoDNN 方案。此外，我们评估了时变信道下的服务可靠性，表明 HALP 是确保高服务可靠性的有效解决方案。

    Jul, 2022

  • EdgeSync：通过自适应连续学习加速边缘模型更新以应对视频数据漂移

    通过使用远程服务器不断训练和调整轻量级模型，EdgeSync 筛选样本以考虑及时性和推理结果，从而提高实时视频分析系统的质量，并且通过测试数据集的评估，相比于现有方法提高了约 3.4%，相对传统方法提高了约 10%。

    Jun, 2024

  • CoEdge: 基於異構邊緣設備的自適應工作負載分配合作式 DNN 推論

    本研究提出一种名为 CoEdge 的分布式深度神经网络计算系统，优化了边缘设备的计算和通信资源，在许多共同参与的异构边缘设备上进行协同深度神经网络计算，与现有方法相比，CoEdge 在降低能耗方面更具优势。

    Dec, 2020

  • 基于软 Actor-Critic 的自适应设备 - 边缘联合推理框架

    提出了一种基于 Deep Neural Network（DNN）模型的 IoT 设备与边缘协同计算框架，通过多分支结构、智能早停、硬件中间分割与整数量化等技术实现了优秀的通信负载和执行精度平衡，结合基于 Soft Actor Critic（SAC-d）的深度强化学习优化算法实现了动态无线通道和任意 CPU 处理下的适应性支持，并在树莓派 4 和 PC 上进行了实验。

    Jan, 2022

  • 边缘智能：设备 - 边缘协同，按需深度学习模型协同推理

    提出了 Edgent，这是一种协作和按需的 DNN 合作推理框架，其旨在通过在设备和边缘之间自适应地分配 DNN 计算来提高实时 DNN 推理的性能，并通过在适当的中间 DNN 层进行早期退出来加速 DNN 推理。

    Jun, 2018

  • 边缘人工智能：通过边缘计算加速深度神经网络推理

    该论文提出了一种基于边缘计算的 DNN 协同推理框架 Edgent，通过 DNN 分区和权衡设备的云资源和临近边缘资源来协调实时的 DNN 推理，进而降低计算延迟，实现低延迟边缘智能处理。

    Oct, 2019

  • DAPPLE：一个用于训练大模型的流水线数据并行方法

    提出了一种称为 DAPPLE 的同步训练框架，它将数据并行和管道并行相结合，采用新颖的并行化策略规划器解决了分区和放置问题，并探索了数据和管道并行的最佳混合策略。与 GPipe 相比，DAPPLE 运行时间提高了 1.6 倍的训练吞吐量，并将内存消耗降低了 12%。

    Jul, 2020

  • 使用 AutoML 实现加速器感知的神经网络设计

    采用硬件意识神经架构搜索，设计了一类适用于 Edge TPU 的计算机视觉模型，有效提升了实时图像分类性能并在像素 4 的边缘 TPU 上改善了精度 - 延迟权衡。

    Mar, 2020

  • 移动边缘云计算中基于混合并行的快速层次化边缘人工智能学习

    提出了一种名为 HierTrain 的层次化边缘 AI 学习框架，使用深度神经网络在移动边缘云计算中进行训练，采用了新型的混合并行方法，旨在在边缘设备、边缘服务器和云中进行 DNN 模型层次的自适应分配，该框架在硬件原型上实现，比基于云的 Hierarchical Training 方法快了多达 6.9 倍。

    Mar, 2020