Tiny Machine Learning （TinyML）是机器学习的新领域。通过将深度学习模型应用于无数物联网设备和微控制器（MCU），我们扩大了人工智能应用的范围并实现了无处不在的智能。然而，由于硬件限制，TinyML 具有一定挑战性，因为内存资源有限，难以容纳为云和移动平台设计的深度学习模型；同时，裸机设备对编译器和推理引擎的支持有限。因此，我们需要对算法和系统栈进行共同设计，以实现 TinyML。在此综述中，我们首先讨论 TinyML 的定义、挑战和应用；接下来，我们调查了最近在 MCUs 上 TinyML 和深度学习的进展；然后，我们介绍了 MCUNet，展示了如何通过系统 - 算法共同设计，在物联网设备上实现 ImageNet 规模的人工智能应用；我们还将解决方案从推理扩展到训练，并介绍了小型设备上的训练技术；最后，我们展示了这个领域的未来发展方向。今天的大型模型可能成为明天的小型模型，TinyML 的范围应该随着时间的推移而不断发展和适应。

Mar, 2024

深入分析了高效神经网络和深度学习模型在超低功耗微控制器上部署的细微机器学习（TinyML）应用的进展，并指出了未来的研究方向。

Nov, 2023

介绍了一个名为 TensorFlow Lite Micro (TF Micro) 的开源机器学习推理框架，它采用基于解释器的独特方法，旨在解决嵌入式系统资源限制和碎片化挑战等问题。此框架具有低资源需求和最小的运行时性能开销。

Oct, 2020

本文介绍了机器学习在资源受限的微控制器上的应用，使用神经结构搜索算法来设计满足内存、延迟和能耗限制的模型，并通过可微分神经结构搜索算法搜索出了具有低内存使用和低操作计数的 MicroNet 模型，验证该文述方法在视觉唤醒词、音频关键词检测和异常检测等领域的优越性。

Oct, 2020

MicroT 是一种低能耗的多任务自适应模型框架，适用于资源有限的微控制器。通过自我监督的知识蒸馏和模型的分离与联合训练，将原始模型分解为特征提取器和分类器，然后在微控制器上部署和训练这些模型，以执行关联推理和阶段决策，有效提高模型性能并减少能耗。

Mar, 2024

本研究提出了 MCUNet 框架，该框架共同设计了高效的神经结构（TinyNAS）和轻量级推断引擎（TinyEngine），使得可以在微控制器上进行 ImageNet 规模的推理。

Jul, 2020

综述了 TinyML 的背景、各种支持 TinyML 的工具、利用先进技术进行 TinyML 的最新应用以及未来研究方向，TinyML 是一种嵌入式 ML 技术，使 ML 应用程序能够在多个廉价、资源和功耗受限设备上运行

Mar, 2023

本文探讨了如何将机器学习算法应用于低功耗廉价的物联网设备中，TinyML 作为将深度神经网络模型部署到嵌入式系统上的交叉领域，将为边缘服务和应用程序铺平道路。

Nov, 2022

本文比较了四种最先进的算法在两个实际应用中的效果，其中之一是基于加速度计数据的手势识别，另一个是图像分类，结果证实了这些系统的可靠性和在微型存储器 MCUs 中部署的可行性。

Sep, 2022

TinyReptile 是一种基于元学习和在线学习的有效算法，能够在资源受限的微型控制器之间协作性地学习神经网络的坚实初始化，并且相比具有类似性能的基准算法，能够至少将资源减少和训练时间节省两倍。

Apr, 2023