本文介绍了如何利用手机上普遍存在的GPU加速器，在Android和iOS设备上实现深度神经网络的实时推断，并将其集成到开源项目TensorFlow Lite中。

Jul, 2019

本文介绍了机器学习在资源受限的微控制器上的应用，使用神经结构搜索算法来设计满足内存、延迟和能耗限制的模型，并通过可微分神经结构搜索算法搜索出了具有低内存使用和低操作计数的 MicroNet 模型，验证该文述方法在视觉唤醒词、音频关键词检测和异常检测等领域的优越性。

Oct, 2020

本文介绍了一个新的深度神经网络量化和部署的框架，MicroAI，并研究了在低功耗32位微控制器上应用该框架的优化方法和效果。通过对三个不同数据集(UCI-HAR、Spoken MNIST和GTSRB)的评估，与两种已有的嵌入式推理引擎(TensorFlow Lite for Microcontrollers和STM32CubeAI)的比较和在ARM Cortex-M4F微控制器(Ambiq Apollo3和STM32L452RE)上的验证，证明了MicroAI具有更好的内存和功耗效率。

May, 2021

本文探讨了如何将机器学习算法应用于低功耗廉价的物联网设备中，TinyML作为将深度神经网络模型部署到嵌入式系统上的交叉领域，将为边缘服务和应用程序铺平道路。

Nov, 2022

深入分析了高效神经网络和深度学习模型在超低功耗微控制器上部署的细微机器学习（TinyML）应用的进展，并指出了未来的研究方向。

Nov, 2023

Tiny Machine Learning （TinyML）是机器学习的新领域。通过将深度学习模型应用于无数物联网设备和微控制器（MCU），我们扩大了人工智能应用的范围并实现了无处不在的智能。然而，由于硬件限制，TinyML具有一定挑战性，因为内存资源有限，难以容纳为云和移动平台设计的深度学习模型；同时，裸机设备对编译器和推理引擎的支持有限。因此，我们需要对算法和系统栈进行共同设计，以实现TinyML。在此综述中，我们首先讨论TinyML的定义、挑战和应用；接下来，我们调查了最近在MCUs上TinyML和深度学习的进展；然后，我们介绍了MCUNet，展示了如何通过系统-算法共同设计，在物联网设备上实现ImageNet规模的人工智能应用；我们还将解决方案从推理扩展到训练，并介绍了小型设备上的训练技术；最后，我们展示了这个领域的未来发展方向。今天的大型模型可能成为明天的小型模型，TinyML的范围应该随着时间的推移而不断发展和适应。

Mar, 2024

在过去的十年中，深度学习在自然语言处理、计算机视觉和生物医学信号处理等各个人工智能领域中占据主导地位。虽然模型的准确性有了显著提高，但将这些模型部署在移动手机和微控制器等轻量设备上受到资源限制的制约。本调查报告针对这些设备提供全面的设计指导，详细介绍了轻量模型的细致设计、模型压缩方法和硬件加速策略。本工作的主要目标是探索在不影响模型准确性的情况下克服硬件限制的方法和概念。此外，我们还探讨了未来轻量深度学习的两个值得关注的方向：TinyML和大型语言模型的部署技术。尽管这些方向无疑具有潜力，但它们也带来了重大挑战，鼓励研究未开拓的领域。

Apr, 2024

本研究解决了Tiny Machine Learning（TinyML）在微控制器中推理效率和内存性能的不足问题。我们提出了一种结合近似计算和软件内核设计的新方法，通过对卷积层操作数进行解包和意义计算，采用计算跳过策略进行推理加速。实验结果表明，这种方法在保持分类准确性的同时，平均减少了21%的延迟，对于低准确率需求，则能实现更显著的优化。

Sep, 2024

本研究针对嵌入式系统中神经网络的高效与稳健性缺乏的现状，提出了一个名为MicroFlow的开源TinyML框架。通过基于编译器的推理引擎和Rust语言的内存安全特性，MicroFlow实现了在资源极为受限的设备上有效部署神经网络，并在内存使用和推理速度上优于现有解决方案，在要求严格的应用环境中展现出良好的适应性。

Sep, 2024

本研究解决了深度神经网络（DNNs）在嵌入式计算系统中部署的计算资源不足的问题。论文提出了一种系统化的高效深度学习基础设施框架，涵盖了从网络设计到模型压缩等多个方面。研究表明，通过优化基础设施，可以显著缩小深度学习与嵌入式系统的计算差距，从而推动嵌入式智能的普及应用。

Nov, 2024