MobiRNN: 移动 GPU 上高效运行的循环神经网络

Jun, 2017

MobiRNN: 移动 GPU 上高效运行的循环神经网络

MobiRNN: Efficient Recurrent Neural Network Execution on Mobile GPU

Qingqing Cao, Niranjan Balasubramanian, Aruna Balasubramanian

TL;DR本文介绍 MobiRNN 优化框架，旨在解决移动设备上 RNN 模型的隐私和效率问题。实现了专门针对移动 GPU 的 GPU 卸载。通过运行 RNN 模型以进行活动识别的评估，结果表明使用 MobiRNN 明显降低了在手机上运行 RNN 模型的延迟。

Abstract

In this paper, we explore optimizations to run recurrent neural network (RNN) models locally on mobile devices. RNN models are widely used for Natural Language Processing, Machine Translation, and other tasks. Ho

recurrent neural network mobile devices privacy concerns gpu offloading activity recognition

发现论文，激发创造

使用移动 GPU 进行设备端神经网络推断

本文介绍了如何利用手机上普遍存在的 GPU 加速器，在 Android 和 iOS 设备上实现深度神经网络的实时推断，并将其集成到开源项目 TensorFlow Lite 中。

Jul, 2019

CNNdroid：在安卓上利用 GPU 加速执行已训练的深度卷积神经网络

介绍了一个基于 GPU 加速的开源库 CNNdroid，可以在 Android 设备上执行训练好的深度卷积神经网络，并实现了高达 60 倍的加速和 130 倍的能量节省。

Nov, 2015

动态层级革命：在移动设备上压缩循环神经网络的 DirNet

使用一种基于优化快速字典学习算法的新型模型压缩方法 DirNet，来保证在资源受限的移动设备上实现高压缩率时的最小准确性损失。通过在神经网络的不同层级上动态挖掘字典原子并调整压缩率，并且自适应地改变稀疏编码的稀疏性，该方法在语言模型和 ASR 模型上进行实验，结果表明它比之前的方法显著优越。在现有移动设备上进行评估，我们能够将原始模型的大小缩小八倍，并实现实时模型推理，同时几乎没有准确性损失。

Jun, 2018

MNN：一种通用高效的推理引擎

本文介绍了移动神经网络（Mobile Neural Network，MNN），它是一种适用于移动应用的普适且高效的推理引擎，解决了在移动设备上进行深度学习模型推理的模型兼容性、设备多样性和资源限制等挑战，采用了称为预推理的机制进行运行时优化，针对操作符进行了彻底的内核优化以实现最佳计算性能，并引入了后端抽象模块，实现了混合调度并保持引擎轻量级。广泛的基准实验表明，MNN 在性能上与其他流行的轻量级深度学习框架相当。

Feb, 2020

在 GPU 上优化循环神经网络的性能

通过在网络中暴露操作之间的并行性，我们实现了对于各种网络规模的 10 倍加速优化，这种优化的实现被整合到了 NVIDIA 的 cuDNN 的第五个版本中。

Apr, 2016

JointDNN：智能移动云计算服务的高效训练和推理引擎

本文介绍了一种优化的深度神经网络引擎 JointDNN，它在移动设备和云之间实现了合作计算，有效降低了 DNN 查询的延迟和移动能源消耗。

Jan, 2018

面向协作智能友好的深度学习架构

本文提出了一种新的协作智能友好型架构，通过将移动设备上计算的中间特征卸载到云端以降低需要发送到云端的数据量，使得在 ResNet-50 模型上，相比现有的云端计算方法，端到端延迟和移动能耗分别平均提高了 53 倍和 68 倍，而精度损失不到 2%。

Feb, 2019

MobileNets：面向移动视觉应用的高效卷积神经网络

本文介绍了 MobileNets 这一基于深度可分离卷积的轻量级深度神经网络架构，提出了利用全局超参数在时延和准确性之间平衡的方法，并在图像分类等多个领域进行了广泛实验。

Apr, 2017

基于模型修剪和编译器优化在移动平台上实现实时 DNN 推理

本文提出应用硬件友好的结构化模型压缩和编译器优化技术以加速在移动设备上的深度神经网络执行，实验结果表明这些优化技术可以实现多个深度神经网络应用，如风格迁移、DNN 着色和超分辨率的实时移动执行。

Apr, 2020

E-RNN：FPGAs 中高效循环神经网络的设计优化

本文提出了一种基于块循环矩阵框架的高效 RNN（E-RNN）框架，用于 FPGA 实现自动语音识别（ASR），旨在提高性能 / 能量效率，保证精度。采用了交替方向乘法器（ADMM）技术和两个设计探索来提高块循环训练的准确性和引导块大小选择，并将 E-RNN 分解为两个阶段：确定 RNN 模型以降低计算和存储，并进行硬件实现。在实际的 FPGA 部署中，实验结果表明，相对于 ESE 的最大能量效率提高了 37.4 倍，相对于 C-LSTM 提高了 2 倍以上，但保持了相同的准确性水平。

Dec, 2018