边缘设备上实现深度学习
提出了 Edgent,这是一种协作和按需的 DNN 合作推理框架,其旨在通过在设备和边缘之间自适应地分配 DNN 计算来提高实时 DNN 推理的性能,并通过在适当的中间 DNN 层进行早期退出来加速 DNN 推理。
Jun, 2018
该论文提出了一种基于边缘计算的 DNN 协同推理框架 Edgent,通过 DNN 分区和权衡设备的云资源和临近边缘资源来协调实时的 DNN 推理,进而降低计算延迟,实现低延迟边缘智能处理。
Oct, 2019
本文提出了一种有效的边缘计算推理方法,并探讨了在设备模型的计算成本和中间特征的通信成本之间进行的关键权衡。通过模型拆分点选择、通信感知模型压缩和任务导向的中间特征编码,提出了一个三步框架来有效地进行推理,实验结果表明,与基准方法相比,我们的提出的框架具有更好的权衡,可以显著减少推理延迟。
Jun, 2020
分布式深度神经网络 (DDNN) 可以在云端、边缘设备和终端中适应深度神经网络的推断,由于其分布式特性,DDNN 增强了 DNN 应用程序的传感器融合、系统容错和数据隐私,通过将 DNN 映射到分布式计算层次结构中的不同组成部分并联合训练这些部分,我们最小化设备通信和资源使用并最大化提取特征的实用性。实验结果表明,DDNN 可以利用传感器的地理多样性来提高物体识别精度并减少通信成本。
Sep, 2017
本文探讨了边缘机器学习的关键构建块,神经网络架构的不同分裂及其内在的权衡,以及来自广泛数学学科的理论和技术促进因素,最终呈现了几个关于各种高风险应用的案例研究,展示了边缘机器学习在发挥 5G 及其以后的全部潜力方面的有效性。
Dec, 2018
通过本文,我们调查了低功耗和能效更高的深度神经网络实现的最新进展,其提高了深度神经网络的可部署性而在不显著牺牲准确性的情况下。这些技术可以分为三个主要类别:神经网络压缩、网络架构搜索和设计、以及编译器和图优化。我们调查了卷积和变换器深度神经网络的低功耗技术,并总结了其优点、缺点和研究中的问题。
Aug, 2023
该论文介绍了边缘智能和智能边缘的应用场景,实现方法和相互融合的挑战和未来趋势。通过整合通信,网络和深度学习领域的信息,促进了边缘智能和智能边缘的融合。
Jul, 2019
人工智能(AI)技术已成为众多行业的关键驱动力,包括消费电子、医疗保健和制造业,主要得益于过去十年间的复苏。AI 的变革力量主要来自于深度神经网络(DNN)的应用,其需要大量的训练数据和大量的计算资源进行处理。然而,由于与云通信相关的潜在延迟问题,深度学习(DL)工作流越来越多地过渡到靠近终端用户设备(EUDs)的无线边缘网络上。这种转变旨在支持对延迟敏感的应用,并催生了边缘 AI 的新范式,这将在即将到来的 6G 网络中支持无处不在的 AI 应用。尽管具有潜力,但边缘 AI 面临重大挑战,主要是由于无线边缘网络的资源限制和 DL 的资源密集性之间的矛盾。为确保性能既最佳又可持续,这需要对边缘 AI 采取注重能源的方法。因此,本文提供了关于绿色边缘 AI 的现代综述。我们首先分析了边缘 AI 系统的主要能源消耗组成部分,以确定绿色边缘 AI 的基本设计原则。在这些原则的指导下,我们进一步探讨了边缘 AI 系统中三个关键任务的能效设计方法,包括训练数据获取、边缘训练和边缘推理。最后,我们强调了进一步增强边缘 AI 能效的潜在未来研究方向。
Dec, 2023
本文概述了高效深度学习的方法、系统和应用,包括流行的模型压缩方法、自动化模型设计和用户自定义的基于设备的训练,以及各种针对特定任务和空间 - 时间冗余的加速技术和系统设计。
Apr, 2022