Nov, 2015

CNNdroid：在安卓上利用 GPU 加速执行已训练的深度卷积神经网络

PDF
TL;DR介绍了一个基于 GPU 加速的开源库 CNNdroid，可以在 Android 设备上执行训练好的深度卷积神经网络，并实现了高达 60 倍的加速和 130 倍的能量节省。
mobile applicationsdeep cnn-based machine learning algorithmsgpu-accelerated libraryandroid-based mobile devicesperformance and energy consumption
发现论文，激发创造
  • 使用移动 GPU 进行设备端神经网络推断

    本文介绍了如何利用手机上普遍存在的 GPU 加速器，在 Android 和 iOS 设备上实现深度神经网络的实时推断，并将其集成到开源项目 TensorFlow Lite 中。

    Jul, 2019

  • AI 基准测试：在 Android 智能手机上运行深度神经网络

    本文研究了 Android 生态系统中深度学习的现状及其在智能手机上的限制，同时概述了四个主要移动芯片平台（Qualcomm、HiSilicon、MediaTek 和 Samsung）上可用的硬件加速资源，并介绍了利用 AI 基准测试收集的不同移动 SoCs 的实际性能结果。

    Oct, 2018

  • 在移动设备上实现 3D 卷积神经网络的实时执行

    该论文提出了 RT3D 框架，将神经网络权重修剪和编译器代码生成技术无缝集成，以实现 3D CNN 的模型压缩和移动加速。 RT3D 在现有支持 3D CNN 的移动框架中实现了高达 29.1 倍的推理时间加速，具有适度的 1％-1.5％准确度损失。

    Jul, 2020

  • 移动设备上高性能超低精度卷积

    通过对 ARMv7 设备上现代深度学习工作负载所需的核心基本操作进行开源实现和全面分析，我们展示了与现有市场上的 float32 和 int8 基准相比，使用大于 4 位精度的最先进的超低精度技术可获得 4 倍至 20 倍的加速度。

    Dec, 2017

  • MobiRNN: 移动 GPU 上高效运行的循环神经网络

    本文介绍 MobiRNN 优化框架，旨在解决移动设备上 RNN 模型的隐私和效率问题。实现了专门针对移动 GPU 的 GPU 卸载。通过运行 RNN 模型以进行活动识别的评估，结果表明使用 MobiRNN 明显降低了在手机上运行 RNN 模型的延迟。

    Jun, 2017

  • 基于模型修剪和编译器优化在移动平台上实现实时 DNN 推理

    本文提出应用硬件友好的结构化模型压缩和编译器优化技术以加速在移动设备上的深度神经网络执行，实验结果表明这些优化技术可以实现多个深度神经网络应用，如风格迁移、DNN 着色和超分辨率的实时移动执行。

    Apr, 2020

  • PhoneBit: 移动手机高效 GPU 加速二值神经网络推断引擎

    本文提出了 PhoneBit，一种针对基于 Android 的移动设备的 GPU 加速二值神经网络推断引擎，旨在通过运用区别于桌面平台的架构，提出操作级优化方案，以挖掘移动 GPU 的计算能力，实现二值卷积的高效率，从而取得了相比移动设备上其它顶尖框架更为显著的速度加速和能量效率改进。

    Dec, 2019

  • 移动设备上的量化卷积神经网络

    该研究提出了一种名为量化卷积神经网络的模型，旨在通过量化卷积层中的滤波器核和全连接层中的权重矩阵，实现计算效率的提升和存储内存开销的降低，相对于非量化模型，该模型在 ILSVRC-12 基准测试中达到 4~6 倍的加速和 15~20 倍的压缩，仅有 1% 左右的分类准确率损失，并且甚至可以在移动设备上在一秒内精准分类照片。

    Dec, 2015

  • 2019 年智能手机上深度学习的 AI 基准测试

    本文评估了高通、海思、三星、联发科和紫光展锐提供的 AI 推理硬件加速的所有芯片组的性能，并比较了它们的结果。同时，我们还讨论了 Android ML 流水线的最近变化，并提供了在移动设备上部署深度学习模型的概述。

    Oct, 2019

  • JointDNN：智能移动云计算服务的高效训练和推理引擎

    本文介绍了一种优化的深度神经网络引擎 JointDNN，它在移动设备和云之间实现了合作计算，有效降低了 DNN 查询的延迟和移动能源消耗。

    Jan, 2018