本文介绍了机器学习在资源受限的微控制器上的应用，使用神经结构搜索算法来设计满足内存、延迟和能耗限制的模型，并通过可微分神经结构搜索算法搜索出了具有低内存使用和低操作计数的 MicroNet 模型，验证该文述方法在视觉唤醒词、音频关键词检测和异常检测等领域的优越性。

Oct, 2020

Tiny Machine Learning （TinyML）是机器学习的新领域。通过将深度学习模型应用于无数物联网设备和微控制器（MCU），我们扩大了人工智能应用的范围并实现了无处不在的智能。然而，由于硬件限制，TinyML 具有一定挑战性，因为内存资源有限，难以容纳为云和移动平台设计的深度学习模型；同时，裸机设备对编译器和推理引擎的支持有限。因此，我们需要对算法和系统栈进行共同设计，以实现 TinyML。在此综述中，我们首先讨论 TinyML 的定义、挑战和应用；接下来，我们调查了最近在 MCUs 上 TinyML 和深度学习的进展；然后，我们介绍了 MCUNet，展示了如何通过系统 - 算法共同设计，在物联网设备上实现 ImageNet 规模的人工智能应用；我们还将解决方案从推理扩展到训练，并介绍了小型设备上的训练技术；最后，我们展示了这个领域的未来发展方向。今天的大型模型可能成为明天的小型模型，TinyML 的范围应该随着时间的推移而不断发展和适应。

Mar, 2024

该研究提出了一种基于分块的推理调度方法和神经网络重构技术，通过结合神经网络的设计和推理调度，实现了在微控制器单元上高效、准确的深度学习推理，并改善了已有网络的内存瓶颈问题。

Oct, 2021

MicroNAS 是一种为边缘计算中的微控制器单元（MCU）设计的硬件感知的零样本神经架构搜索框架，通过考虑目标硬件的优化性能，在不高昂的计算成本下确定最佳神经架构，并实现了近 1104 倍的搜索效率提升和超过 3.23 倍的 MCU 推断速度提升，同时保持相似的准确性。

Jan, 2024

本文介绍了如何在内存受限的微控制器单元（MCU）上部署卷积神经网络（CNN），并提出了一种自动设计 CNN 的框架 Sparse Architecture Search，将神经架构搜索与剪枝相结合，通过在 IoT 数​​据集上的测试，证明了这种方法可以在满足 MCU 内存限制的同时实现更好的性能。

May, 2019

本文提出了一种名为 MCUFormer 的硬件算法协同优化方法，用于在内存极为有限的微控制器上部署视觉变换器，实现图像分类任务，通过考虑降维尺寸和补丁分辨率来扩展视觉变换器的搜索空间，并通过操作符集成、补丁嵌入分解和令牌覆写等方法来构建视觉变换器的推理操作库，实验结果表明 MCUFormer 在 STM32F746 微控制器上实现了 320KB 内存的 ImageNet 图像分类任务的 73.62％的 Top-1 准确率。

Oct, 2023

深入分析了高效神经网络和深度学习模型在超低功耗微控制器上部署的细微机器学习（TinyML）应用的进展，并指出了未来的研究方向。

Nov, 2023

MicroNAS 是一个系统，能够自动搜索和生成神经网络体系结构，用于分类时间序列数据，应用于资源受限的微控制器 (MCUs)，并生成标准 tf-lite ML 模型。

Oct, 2023

TinyTrain 是一个在设备上训练的方法，通过选择性更新模型的部分并明确处理数据稀缺性，大大减少了训练时间，在减少计算和内存占用的同时，实现了高精度的未知任务。

Jul, 2023

本文提出了 TinyFormer，这是一个专门设计用于在微控制器单元上开发和部署资源高效的 transformers 的框架，通过 SuperNAS、SparseNAS 和 SparseEngine 的组合，实现了在 MCUs 上高效部署 sparse models 以及稀疏推理。评估结果表明，TinyFormer 能够以 96.1% 的准确率开发有效的 transformers，并在稀疏推理上相对于 CMSIS-NN 库实现了高达 12.2 倍的加速。TinyFormer 将强大的 transformers 引入了 TinyML 场景，极大地扩展了深度学习应用领域。

Nov, 2023