移动设备上的深度学习 - 综述
本文概述了高效深度学习的方法、系统和应用,包括流行的模型压缩方法、自动化模型设计和用户自定义的基于设备的训练,以及各种针对特定任务和空间 - 时间冗余的加速技术和系统设计。
Apr, 2022
本文研究了 Android 生态系统中深度学习的现状及其在智能手机上的限制,同时概述了四个主要移动芯片平台(Qualcomm、HiSilicon、MediaTek 和 Samsung)上可用的硬件加速资源,并介绍了利用 AI 基准测试收集的不同移动 SoCs 的实际性能结果。
Oct, 2018
本文提出了一种新的协作智能友好型架构,通过将移动设备上计算的中间特征卸载到云端以降低需要发送到云端的数据量,使得在 ResNet-50 模型上,相比现有的云端计算方法,端到端延迟和移动能耗分别平均提高了 53 倍和 68 倍,而精度损失不到 2%。
Feb, 2019
在过去的十年中,深度学习在自然语言处理、计算机视觉和生物医学信号处理等各个人工智能领域中占据主导地位。虽然模型的准确性有了显著提高,但将这些模型部署在移动手机和微控制器等轻量设备上受到资源限制的制约。本调查报告针对这些设备提供全面的设计指导,详细介绍了轻量模型的细致设计、模型压缩方法和硬件加速策略。本工作的主要目标是探索在不影响模型准确性的情况下克服硬件限制的方法和概念。此外,我们还探讨了未来轻量深度学习的两个值得关注的方向:TinyML 和大型语言模型的部署技术。尽管这些方向无疑具有潜力,但它们也带来了重大挑战,鼓励研究未开拓的领域。
Apr, 2024
本文通过对深度学习和移动无线网络研究领域的全面调查,桥接了两个领域之间的鸿沟,并讨论了如何将深度学习技术应用到移动系统中,从而提出了当前研究的挑战和未来发展方向。
Mar, 2018
在资源受限的移动设备上部署计算密集型的深度学习模型以实现实时智能应用的需求与日俱增,在各种处理单元(如 CPU、GPU 和 NPU)的支持下,移动设备有潜力通过在异构处理器之间进行并行执行来加速深度学习推理。本文通过精心设计的实验,涵盖了各种深度学习模型、移动软件 / 硬件环境、工作负载模式和资源可用性,综合性地评估了在异构移动处理器上进行并行深度学习推理的能力和挑战,并确定了现有技术的局限性,并强调了跨层级优化的机会。
May, 2024
本文介绍了如何利用手机上普遍存在的 GPU 加速器,在 Android 和 iOS 设备上实现深度神经网络的实时推断,并将其集成到开源项目 TensorFlow Lite 中。
Jul, 2019
该研究综述了针对边缘计算的深度学习模型设计自动化技术,包括自动神经架构搜索、自动模型压缩和联合自动设计和压缩,并提出了未来研究的方向。
Aug, 2022
本文评估了高通、海思、三星、联发科和紫光展锐提供的 AI 推理硬件加速的所有芯片组的性能,并比较了它们的结果。同时,我们还讨论了 Android ML 流水线的最近变化,并提供了在移动设备上部署深度学习模型的概述。
Oct, 2019
本研究通过针对 16,500 款最热门的 Android 应用程序的统计分析揭示了智能手机应用程序如何在自然环境中利用深度学习。研究发现,智能手机深度学习框架和应用程序的使用呈现出一种繁荣的趋势,但是仍需优化手机上运行的深度学习模型,保护这些模型并验证深度学习研究的想法。
Nov, 2018