移动云协同智能推理
本文提出了一种新的协作智能友好型架构,通过将移动设备上计算的中间特征卸载到云端以降低需要发送到云端的数据量,使得在 ResNet-50 模型上,相比现有的云端计算方法,端到端延迟和移动能耗分别平均提高了 53 倍和 68 倍,而精度损失不到 2%。
Feb, 2019
本文介绍了如何利用手机上普遍存在的 GPU 加速器,在 Android 和 iOS 设备上实现深度神经网络的实时推断,并将其集成到开源项目 TensorFlow Lite 中。
Jul, 2019
本文介绍了一种优化的深度神经网络引擎 JointDNN,它在移动设备和云之间实现了合作计算,有效降低了 DNN 查询的延迟和移动能源消耗。
Jan, 2018
在此研究中,作者介绍了一种新的损失函数,旨在促进 feature 的可压缩性,而不会牺牲多个任务的系统性能,作者称之为压缩友好的丢失函数,实验结果显示,使用这种丢失函数,可以实现约 20%的比特率降低。
Feb, 2019
本篇论文提出了一种用于合作、隐私保护分析的深度神经网络混合方法,使用边缘处理的思想,在保持效益的同时,有效减少了不必要、潜在敏感信息的级别。利用 Siamese 微调技术,可以确保用户设备只带有主任务所需的必要信息,并防止数据的二次推断。
Mar, 2017
该研究针对移动设备上的深度神经网络的推断,使用自适应模型划分的方法解决了通信延迟的问题,并对准确性进行了预测和校准,从而实现更可靠的推断决策。
Oct, 2020
我们提出了一种基于强化学习的计算卸载解决方案,它可以在考虑首选深度学习模型选择技术的情况下学习最佳卸载策略,以最小化响应时间同时提供足够的准确性,我们的解决方案在 AWS 和 ARM 核心配置的多个实现中提供 35%的加速,并且最少仅有 0.9%的准确性降低,展示了我们在线学习框架在边缘计算及联云系统中编配深度学习推理的潜力。
Feb, 2022
研究合作智能的新范式,提出了一种简单有效的接近无损的深度特征压缩器,在移动和云端之间分配网络以最小化系统的总能耗和 / 或延迟,同时探讨深度特征数据与自然图像数据之间的差异,并建议从压缩的深层特征中重建输入图像的方法,以补充深度模型所执行的推断。
Apr, 2018
提出了 Edgent,这是一种协作和按需的 DNN 合作推理框架,其旨在通过在设备和边缘之间自适应地分配 DNN 计算来提高实时 DNN 推理的性能,并通过在适当的中间 DNN 层进行早期退出来加速 DNN 推理。
Jun, 2018