Oct, 2019

2019 年智能手机上深度学习的 AI 基准测试

PDF
TL;DR本文评估了高通、海思、三星、联发科和紫光展锐提供的 AI 推理硬件加速的所有芯片组的性能，并比较了它们的结果。同时，我们还讨论了 Android ML 流水线的最近变化，并提供了在移动设备上部署深度学习模型的概述。
mobile ai acceleratorsnpudeep learning frameworkschipsetsdeployment
发现论文，激发创造
  • AI 基准测试：在 Android 智能手机上运行深度神经网络

    本文研究了 Android 生态系统中深度学习的现状及其在智能手机上的限制，同时概述了四个主要移动芯片平台（Qualcomm、HiSilicon、MediaTek 和 Samsung）上可用的硬件加速资源，并介绍了利用 AI 基准测试收集的不同移动 SoCs 的实际性能结果。

    Oct, 2018

  • 移动设备上的深度学习 - 综述

    本文综述了移动设备上深度学习的研究进展，包括算法、硬件架构、感知模态等技术的最新发展，以及对应的工具、应用和挑战。

    Mar, 2019

  • 使用移动 GPU 进行设备端神经网络推断

    本文介绍了如何利用手机上普遍存在的 GPU 加速器，在 Android 和 iOS 设备上实现深度神经网络的实时推断，并将其集成到开源项目 TensorFlow Lite 中。

    Jul, 2019

  • EmBench：量化现代通用设备上深度神经网络的性能变化

    该研究使用各种普通设备系统地评估了一系列最先进的 DNN，识别了每种架构的潜在瓶颈，并提供了可以帮助社区协同设计更高效的 DNN 和加速器的重要指导方针。

    May, 2019

  • 移动设备上的深度学习：方法、系统和应用

    本文概述了高效深度学习的方法、系统和应用，包括流行的模型压缩方法、自动化模型设计和用户自定义的基于设备的训练，以及各种针对特定任务和空间 - 时间冗余的加速技术和系统设计。

    Apr, 2022

  • 在 LLM 时代重新思考移动 AI 生态系统

    智能手机已成为承载多种深度学习模型的中心，该研究介绍了一种新的移动人工智能范式，使用协同管理方法在移动操作系统和硬件之间实现一个基础模型，能够为各种移动人工智能任务提供服务。

    Aug, 2023

  • 智能手机上的深度学习应用程序初探

    本研究通过针对 16,500 款最热门的 Android 应用程序的统计分析揭示了智能手机应用程序如何在自然环境中利用深度学习。研究发现，智能手机深度学习框架和应用程序的使用呈现出一种繁荣的趋势，但是仍需优化手机上运行的深度学习模型，保护这些模型并验证深度学习研究的想法。

    Nov, 2018

  • 移动 NPU 上基于深度学习的智能手机 ISP 学习，Mobile AI 2021 挑战赛报告

    该研究提出了一种基于深度学习的图像信号处理流程来提高移动相机的感知性能，通过使用 Sony IMX586 Quad Bayer 移动传感器和专业的 102 百万像素中画幅相机拍摄的 RAW-RGB 图像对生成所作的全新学习型 ISP 数据集来评估该方法，其处理时间低于 100 毫秒且具有高保真度。

    May, 2021

  • 异构移动处理器上的深度学习推理：潜力与陷阱

    在资源受限的移动设备上部署计算密集型的深度学习模型以实现实时智能应用的需求与日俱增，在各种处理单元（如 CPU、GPU 和 NPU）的支持下，移动设备有潜力通过在异构处理器之间进行并行执行来加速深度学习推理。本文通过精心设计的实验，涵盖了各种深度学习模型、移动软件 / 硬件环境、工作负载模式和资源可用性，综合性地评估了在异构移动处理器上进行并行深度学习推理的能力和挑战，并确定了现有技术的局限性，并强调了跨层级优化的机会。

    May, 2024

  • 面向协作智能友好的深度学习架构

    本文提出了一种新的协作智能友好型架构，通过将移动设备上计算的中间特征卸载到云端以降低需要发送到云端的数据量，使得在 ResNet-50 模型上，相比现有的云端计算方法，端到端延迟和移动能耗分别平均提高了 53 倍和 68 倍，而精度损失不到 2%。

    Feb, 2019