网络边缘的深度学习架构
本文提出了一种高效、灵活的 DNN 分区方法,通过迭代删除不重要的卷积层过滤器进行剪枝,从而减少移动设备的无线传输负担或总计算负担,并能够自动选择满足各种延迟和准确性要求的修剪过的模型。实验表明,与未剪枝的原始 DNN 模型相比,该框架在传输负载上可实现多达 25.6 倍的降低,总计算速度加快了 6.01 倍,端到端延迟降低了 4.81 倍。
Mar, 2019
BottleNet++是一种面向资源受限的移动设备的深度学习模型压缩和传输方法,使用CNN实现双向通信的联合源-信道编码,能够实现高达64倍的带宽降低和256倍的位压缩率,并能以小于2%的准确性损失实现高效率的模型拆分和端侧推理。
Oct, 2019
介绍了在移动设备中使用深度神经网络技术的优劣,提出了通过分割计算和提前结束计算的方法,将深度神经网络分别部署在移动设备和云/边缘服务器上,最终可减少带宽和能耗,同时提高精度并根据当前需求调节精度与延迟之间的平衡。
Mar, 2021
本研究旨在通过利用知识蒸馏和神经图像压缩的思想,采用先进的监督压缩方法,使用带有随机瓶颈的教师模型和学生模型,以及可学习的熵编码先验方法来更高效地压缩深度学习的中间特征表示。我们在三个视觉任务上将我们的方法与各种神经图像和特征压缩基线进行比较,并发现我们的方法在保持端到端时延更小的情况下,实现了更好的受监督的率失真性能。我们还展示了学习到的特征表示可以调整为服务于多个下游任务。
Aug, 2021
本文提出了一种在资源受限设备上部署和训练最先进模型的新解决方案,其中包括通过一种基于滤波修剪的模型压缩方法创造轻量级可训练模型,以及一种新型知识转移方法,允许在设备上的模型实时增量更新,并以无监督的方式通过云端模型学习新的类别。实验结果表明,该新方法可以在保持良好准确率的同时移除高达99.36%的模型参数,并且允许在设备上的压缩模型在实时内收敛于增量学习任务并识别未见过的数据类别。
Jan, 2022
这篇论文提出了一种基于强化学习的 AI 策略 SplitPlace,可以智能决策基于边缘计算的需求,采用分层或语义分割策略,对神经网络进行分割并将其部署在资源受限的移动边缘设备上,实现高效可扩展的计算。实验表明,SplitPlace 可以显著提高平均响应时间、截止日期违规率、推断准确度和总奖励达 46%,69%,3%和12%。
May, 2022
本文提出了一种新型的卷积神经网络压缩算法,通过利用网络层级复杂性,设计了三种剪枝模式:参数感知型、浮点运算量感知型和内存感知型,以在低功耗设备上实现高效率的模型压缩和加速,并在智能农业,智能医疗和智能工厂等应用中表现出了极高的性能表现。
Aug, 2022
在边缘计算和分布式计算的背景下,通过使用基于可改变编码器的分层执行,我们提出了一种创新的拆分计算方法,该方法可以实时适应计算负载和传输的数据大小,而不会对移动设备造成太大的计算负荷,从而提高了压缩效率和执行时间。
Jun, 2023
拆分学习是一种隐私保护的分布式学习范式,通过将机器学习模型(例如神经网络)分为编码器和解码器两部分,共享潜在表示进行模型训练。在移动边缘计算中,通过拆分学习可以训练网络功能(如流量预测),其中编码器位于用户设备,解码器位于边缘网络。基于数据处理不等式和信息瓶颈理论,我们提出了一种新的框架和训练机制,实现了传输资源消耗与共享潜在表示的信息量之间的动态平衡,直接影响预测性能。所提出的训练机制提供了一种具有多种复杂性-关联权衡模式的编码器解码器神经网络架构,实现了可调节的性能。适应性可以适应不同的实时网络条件和应用需求,可能减少运营支出并增强网络灵活性。作为一个概念证明,我们将这种训练机制应用于毫米波下行吞吐量预测问题。我们还从信息瓶颈理论的角度提供新的见解,并强调了与循环神经网络相关的一些挑战。有趣的是,我们发现在时序模型的时间域中存在压缩现象,除了随训练轮次的压缩阶段。
Sep, 2023
本文介绍了一种模型分区/切割的方法,将深度神经网络切分为两个部分,分别在设备和服务器上进行联合训练和联合推理,旨在通过交替优化解决划分点选择和带宽分配问题,以最小化系统的延迟
Oct, 2023