本研究提出了 MCUNet 框架，该框架共同设计了高效的神经结构（TinyNAS）和轻量级推断引擎（TinyEngine），使得可以在微控制器上进行 ImageNet 规模的推理。

Jul, 2020

深入分析了高效神经网络和深度学习模型在超低功耗微控制器上部署的细微机器学习（TinyML）应用的进展，并指出了未来的研究方向。

Nov, 2023

该论文提出了 tinySNN 框架，可通过减少操作、优化学习质量、量化参数和选择合适的模型来在保持准确性的前提下，优化 SNN 处理的内存和能源需求，并且通过不同的量化方案、精度级别和舍入方案探索不同的 SNN 参数来实现模型压缩，从而实现对于资源和能源受限的嵌入式应用的高精度高效压缩。

Jun, 2022

DeepIoT 是一种压缩神经网络的解决方案，它通过找到每个层所需的最小数量的非冗余隐藏元素，将神经网络结构压缩成更小的密集矩阵，同时保持感知应用程序的性能。在 Intel Edison 设备上的五个不同的感知相关任务中进行实验，DeepIoT 在执行时间和能源消耗方面优于所有比较的基线算法，而不会损失准确性。

Jun, 2017

本文介绍了机器学习在资源受限的微控制器上的应用，使用神经结构搜索算法来设计满足内存、延迟和能耗限制的模型，并通过可微分神经结构搜索算法搜索出了具有低内存使用和低操作计数的 MicroNet 模型，验证该文述方法在视觉唤醒词、音频关键词检测和异常检测等领域的优越性。

Oct, 2020

本文提出了一种名为 T3DNet 的方法，通过辅助监督和网络增强，将 3D 点云模型进行压缩，实现高压缩比率而保持较高的准确性。

Feb, 2024

通过在芯片上存储全部功能和权重，完全消除了离线内存访问的延迟和能耗，并提出了一种应用特定的指令集，以实现敏捷开发和快速部署。实验表明，基于该模型、NCP 和指令集的 TinyML 系统在实现物体检测和识别时，取得了可观的准确度，并实现了纪录级的超低功耗，只有 160mW。

Jul, 2022

TinyTrain 是一个在设备上训练的方法，通过选择性更新模型的部分并明确处理数据稀缺性，大大减少了训练时间，在减少计算和内存占用的同时，实现了高精度的未知任务。

Jul, 2023

Tiny Machine Learning （TinyML）是机器学习的新领域。通过将深度学习模型应用于无数物联网设备和微控制器（MCU），我们扩大了人工智能应用的范围并实现了无处不在的智能。然而，由于硬件限制，TinyML 具有一定挑战性，因为内存资源有限，难以容纳为云和移动平台设计的深度学习模型；同时，裸机设备对编译器和推理引擎的支持有限。因此，我们需要对算法和系统栈进行共同设计，以实现 TinyML。在此综述中，我们首先讨论 TinyML 的定义、挑战和应用；接下来，我们调查了最近在 MCUs 上 TinyML 和深度学习的进展；然后，我们介绍了 MCUNet，展示了如何通过系统 - 算法共同设计，在物联网设备上实现 ImageNet 规模的人工智能应用；我们还将解决方案从推理扩展到训练，并介绍了小型设备上的训练技术；最后，我们展示了这个领域的未来发展方向。今天的大型模型可能成为明天的小型模型，TinyML 的范围应该随着时间的推移而不断发展和适应。

Mar, 2024

使用布尔逻辑最小化方法训练深度神经网络可以有效降低计算和存储复杂度，并实现高能效。

Jul, 2018