资源受限边缘推理中的通信计算权衡
本文综述了近期在人工智能边缘计算系统中与解决通信挑战相关的技术,着重介绍了从算法和系统两个方面提高在网络边缘的训练与推理的通信效率的方法,并突出了未来研究方向。
Feb, 2020
本论文探讨了 DNN 在资源受限的边缘设备上部署的优化问题,并研究了四种边缘智能场景下的深度学习方法,通过减少 DNN 冗余度来达到资源消耗与模型准确度之间的平衡。
Oct, 2022
提出了 Edgent,这是一种协作和按需的 DNN 合作推理框架,其旨在通过在设备和边缘之间自适应地分配 DNN 计算来提高实时 DNN 推理的性能,并通过在适当的中间 DNN 层进行早期退出来加速 DNN 推理。
Jun, 2018
该论文提出了一种基于边缘计算的 DNN 协同推理框架 Edgent,通过 DNN 分区和权衡设备的云资源和临近边缘资源来协调实时的 DNN 推理,进而降低计算延迟,实现低延迟边缘智能处理。
Oct, 2019
本文提出了一种针对移动边缘计算的 “In-Edge AI” 框架,结合深度强化学习和联邦学习技术,利用设备和边缘节点之间的协作来优化移动边缘计算、缓存和通信,从而在减少系统通信负载的同时进行动态的系统级优化和应用级增强,具有近乎最优的性能。
Sep, 2018
本研究提出一种名为 CoEdge 的分布式深度神经网络计算系统,优化了边缘设备的计算和通信资源,在许多共同参与的异构边缘设备上进行协同深度神经网络计算,与现有方法相比,CoEdge 在降低能耗方面更具优势。
Dec, 2020
下一代无线系统的重要应用是设备边缘协同推理,其中语义任务在设备和边缘服务器之间进行划分。该论文提出了一种新的系统解决方案,称为神经形态的无线设备边缘协同推理,旨在用神经形态硬件运行设备的感知、处理和通信单元,而服务器使用传统的无线电和计算技术,并通过以发射机为中心的信息论准则设计,以减少通信开销,同时保留与感兴趣的端到端语义任务相关联的最重要信息。标准数据集的数值结果验证了所提出的架构,并报告了初步的实验测试。
Apr, 2024
本文提出了一种高效、灵活的 DNN 分区方法,通过迭代删除不重要的卷积层过滤器进行剪枝,从而减少移动设备的无线传输负担或总计算负担,并能够自动选择满足各种延迟和准确性要求的修剪过的模型。实验表明,与未剪枝的原始 DNN 模型相比,该框架在传输负载上可实现多达 25.6 倍的降低,总计算速度加快了 6.01 倍,端到端延迟降低了 4.81 倍。
Mar, 2019
本研究旨在通过利用知识蒸馏和神经图像压缩的思想,采用先进的监督压缩方法,使用带有随机瓶颈的教师模型和学生模型,以及可学习的熵编码先验方法来更高效地压缩深度学习的中间特征表示。我们在三个视觉任务上将我们的方法与各种神经图像和特征压缩基线进行比较,并发现我们的方法在保持端到端时延更小的情况下,实现了更好的受监督的率失真性能。我们还展示了学习到的特征表示可以调整为服务于多个下游任务。
Aug, 2021