MNN：一种通用高效的推理引擎

Feb, 2020

MNN: A Universal and Efficient Inference Engine

Xiaotang Jiang, Huan Wang, Yiliu Chen, Ziqi Wu, Lichuan Wang...

TL;DR本文介绍了移动神经网络（Mobile Neural Network，MNN），它是一种适用于移动应用的普适且高效的推理引擎，解决了在移动设备上进行深度学习模型推理的模型兼容性、设备多样性和资源限制等挑战，采用了称为预推理的机制进行运行时优化，针对操作符进行了彻底的内核优化以实现最佳计算性能，并引入了后端抽象模块，实现了混合调度并保持引擎轻量级。广泛的基准实验表明，MNN 在性能上与其他流行的轻量级深度学习框架相当。

Abstract

Deploying deep learning models on mobile devices draws more and more attention recently. However, designing an efficient inference engine on devices is under the great challenges of model compatibility, device di

mobile neural network inference engine deep learning models resource limitation runtime optimization

发现论文，激发创造

使用移动 GPU 进行设备端神经网络推断

本文介绍了如何利用手机上普遍存在的 GPU 加速器，在 Android 和 iOS 设备上实现深度神经网络的实时推断，并将其集成到开源项目 TensorFlow Lite 中。

Jul, 2019

JointDNN：智能移动云计算服务的高效训练和推理引擎

本文介绍了一种优化的深度神经网络引擎 JointDNN，它在移动设备和云之间实现了合作计算，有效降低了 DNN 查询的延迟和移动能源消耗。

Jan, 2018

基于模型修剪和编译器优化在移动平台上实现实时 DNN 推理

本文提出应用硬件友好的结构化模型压缩和编译器优化技术以加速在移动设备上的深度神经网络执行，实验结果表明这些优化技术可以实现多个深度神经网络应用，如风格迁移、DNN 着色和超分辨率的实时移动执行。

Apr, 2020

MobileOne：一种改进的一毫秒移动骨干网络

通过对多个移动设备上的网络进行部署和分析，提出了有效神经网络的优化瓶颈，设计了一种高效的 MobileOne 神经网络，该网络在 iPhone12 上获得了 1 ms 以下的推断时间，并在性能和速度方面超越了现有的语义分割网络。

Jun, 2022

MnasNet：面向移动端平台感知的神经结构搜索

本文提出了一种自动化的移动神经结构搜索（MNAS）方法，该方法将模型延迟明确地纳入主要目标，以便搜索可以识别满足准确性和延迟之间良好平衡的模型，实验结果表明，该方法在多个视觉任务中始终优于现有的移动卷积神经网络模型，并且实现了更好的 mAP 质量。

Jul, 2018

MobiRNN: 移动 GPU 上高效运行的循环神经网络

本文介绍 MobiRNN 优化框架，旨在解决移动设备上 RNN 模型的隐私和效率问题。实现了专门针对移动 GPU 的 GPU 卸载。通过运行 RNN 模型以进行活动识别的评估，结果表明使用 MobiRNN 明显降低了在手机上运行 RNN 模型的延迟。

Jun, 2017

异构移动处理器上的深度学习推理：潜力与陷阱

在资源受限的移动设备上部署计算密集型的深度学习模型以实现实时智能应用的需求与日俱增，在各种处理单元（如 CPU、GPU 和 NPU）的支持下，移动设备有潜力通过在异构处理器之间进行并行执行来加速深度学习推理。本文通过精心设计的实验，涵盖了各种深度学习模型、移动软件 / 硬件环境、工作负载模式和资源可用性，综合性地评估了在异构移动处理器上进行并行深度学习推理的能力和挑战，并确定了现有技术的局限性，并强调了跨层级优化的机会。

May, 2024

移动云协同智能推理

在移动设备上，利用深度学习模型进行 AI 应用程序时，采用共享的移动 - 云推理方法可以降低推理的延迟、能源消耗和网络带宽使用，同时提供隐私保护措施。

Jun, 2023

MobileNetV4 - 移动生态系统通用模型

我们介绍了最新一代的 MobileNets, 称为 MobileNetV4 (MNv4), 具有超高效的移动设备架构设计。我们引入了 Universal Inverted Bottleneck (UIB) 搜索块，这是一种统一而灵活的结构，融合了 Inverted Bottleneck (IB), ConvNext, Feed Forward Network (FFN), 以及一种新颖的 Extra Depthwise (ExtraDW) 变体。此外，我们还提出了 Mobile MQA，一种专为移动加速器量身定制的注意力块，可实现 39% 的加速。同时，我们引入了优化的神经架构搜索（NAS）方法，提高了 MNv4 的搜索效率。UIB，Mobile MQA 以及优化后的 NAS 方法的整合使得我们的 MNv4 模型成为大部分在移动 CPU、DSP、GPU 以及专用加速器（如 Apple Neural Engine 和 Google Pixel EdgeTPU）上都达到 Pareto 最优的模型，这是其他模型不具备的特点。最后，为了进一步提高准确性，我们引入了一种新颖的蒸馏技术。利用这种技术增强，我们的 MNv4-Hybrid-Large 模型在 Pixel 8 EdgeTPU 上只需 3.8ms 的运行时间，达到了 87% 的 ImageNet-1K 准确性。

Apr, 2024

移动 / 嵌入式设备高效推理的动态深度神经网络和运行时管理

深度神经网络在移动和嵌入式平台上执行推理具有延迟、隐私和始终可用性等多个关键优势。然而，由于计算资源有限，有效地在移动和嵌入式平台上部署深度神经网络具有挑战性。本论文提出了一种结合了算法和硬件的运行时性能权衡管理方法，通过动态超网络实现了实时满足变化的应用性能目标和硬件约束。在实验中，我们的模型在 Jetson Xavier NX 的 GPU 上使用 ImageNet 数据集相对于最先进的方法，在相似的 ImageNet Top-1 准确率下速度提高了 2.4 倍，或在相似的延迟下准确率提高了 5.1%。同时，我们设计了一个分级运行时资源管理器，在单模型部署场景中达到了 19% 的能量降低和 9% 的延迟降低，在两个并发模型部署场景中能量降低了 89%，延迟降低了 23%。

Jan, 2024