在资源受限的移动设备上部署计算密集型的深度学习模型以实现实时智能应用的需求与日俱增，在各种处理单元（如 CPU、GPU 和 NPU）的支持下，移动设备有潜力通过在异构处理器之间进行并行执行来加速深度学习推理。本文通过精心设计的实验，涵盖了各种深度学习模型、移动软件 / 硬件环境、工作负载模式和资源可用性，综合性地评估了在异构移动处理器上进行并行深度学习推理的能力和挑战，并确定了现有技术的局限性，并强调了跨层级优化的机会。

May, 2024

本文提出应用硬件友好的结构化模型压缩和编译器优化技术以加速在移动设备上的深度神经网络执行，实验结果表明这些优化技术可以实现多个深度神经网络应用，如风格迁移、DNN 着色和超分辨率的实时移动执行。

Apr, 2020

在移动设备上，利用深度学习模型进行 AI 应用程序时，采用共享的移动 - 云推理方法可以降低推理的延迟、能源消耗和网络带宽使用，同时提供隐私保护措施。

Jun, 2023

本文提出了一种新的协作智能友好型架构，通过将移动设备上计算的中间特征卸载到云端以降低需要发送到云端的数据量，使得在 ResNet-50 模型上，相比现有的云端计算方法，端到端延迟和移动能耗分别平均提高了 53 倍和 68 倍，而精度损失不到 2%。

Feb, 2019

本文综述了移动设备上深度学习的研究进展，包括算法、硬件架构、感知模态等技术的最新发展，以及对应的工具、应用和挑战。

Mar, 2019

介绍了一个基于 GPU 加速的开源库 CNNdroid，可以在 Android 设备上执行训练好的深度卷积神经网络，并实现了高达 60 倍的加速和 130 倍的能量节省。

Nov, 2015

本文评估了高通、海思、三星、联发科和紫光展锐提供的 AI 推理硬件加速的所有芯片组的性能，并比较了它们的结果。同时，我们还讨论了 Android ML 流水线的最近变化，并提供了在移动设备上部署深度学习模型的概述。

Oct, 2019

本文介绍了移动神经网络（Mobile Neural Network，MNN），它是一种适用于移动应用的普适且高效的推理引擎，解决了在移动设备上进行深度学习模型推理的模型兼容性、设备多样性和资源限制等挑战，采用了称为预推理的机制进行运行时优化，针对操作符进行了彻底的内核优化以实现最佳计算性能，并引入了后端抽象模块，实现了混合调度并保持引擎轻量级。广泛的基准实验表明，MNN 在性能上与其他流行的轻量级深度学习框架相当。

Feb, 2020

本文介绍 MobiRNN 优化框架，旨在解决移动设备上 RNN 模型的隐私和效率问题。实现了专门针对移动 GPU 的 GPU 卸载。通过运行 RNN 模型以进行活动识别的评估，结果表明使用 MobiRNN 明显降低了在手机上运行 RNN 模型的延迟。

Jun, 2017

本文研究了 Android 生态系统中深度学习的现状及其在智能手机上的限制，同时概述了四个主要移动芯片平台（Qualcomm、HiSilicon、MediaTek 和 Samsung）上可用的硬件加速资源，并介绍了利用 AI 基准测试收集的不同移动 SoCs 的实际性能结果。

Oct, 2018