本文提出了基于 PULP 处理器的深度学习端到端持续学习硬件/软件平台，利用量化和潜在重播来优化内存成本，以实现采用小型设备的实践多样性更新。

Oct, 2021

本文比较了四种最先进的算法在两个实际应用中的效果，其中之一是基于加速度计数据的手势识别，另一个是图像分类，结果证实了这些系统的可靠性和在微型存储器MCUs中部署的可行性。

Sep, 2022

本文探讨了如何将机器学习算法应用于低功耗廉价的物联网设备中，TinyML作为将深度神经网络模型部署到嵌入式系统上的交叉领域，将为边缘服务和应用程序铺平道路。

Nov, 2022

综述了TinyML的背景、各种支持TinyML的工具、利用先进技术进行TinyML的最新应用以及未来研究方向，TinyML是一种嵌入式ML技术，使ML应用程序能够在多个廉价、资源和功耗受限设备上运行

Mar, 2023

TinyReptile是一种基于元学习和在线学习的有效算法，能够在资源受限的微型控制器之间协作性地学习神经网络的坚实初始化，并且相比具有类似性能的基准算法，能够至少将资源减少和训练时间节省两倍。

Apr, 2023

综述了TinyML的学习算法、系统实现工作流程、模型优化与设计、硬件设备和软件工具的特点，以及挑战和未来方向。

Sep, 2023

深入分析了高效神经网络和深度学习模型在超低功耗微控制器上部署的细微机器学习（TinyML）应用的进展，并指出了未来的研究方向。

Nov, 2023

Tiny Machine Learning （TinyML）是机器学习的新领域。通过将深度学习模型应用于无数物联网设备和微控制器（MCU），我们扩大了人工智能应用的范围并实现了无处不在的智能。然而，由于硬件限制，TinyML具有一定挑战性，因为内存资源有限，难以容纳为云和移动平台设计的深度学习模型；同时，裸机设备对编译器和推理引擎的支持有限。因此，我们需要对算法和系统栈进行共同设计，以实现TinyML。在此综述中，我们首先讨论TinyML的定义、挑战和应用；接下来，我们调查了最近在MCUs上TinyML和深度学习的进展；然后，我们介绍了MCUNet，展示了如何通过系统-算法共同设计，在物联网设备上实现ImageNet规模的人工智能应用；我们还将解决方案从推理扩展到训练，并介绍了小型设备上的训练技术；最后，我们展示了这个领域的未来发展方向。今天的大型模型可能成为明天的小型模型，TinyML的范围应该随着时间的推移而不断发展和适应。

Mar, 2024

近年来微型机器学习（TinyML）的最新进展为低占用嵌入式设备提供了实时的设备端机器学习能力。然而，TinyML的实际实施面临着独特的挑战。本研究旨在弥合原型设计的单一TinyML模型与开发可靠的生产级TinyML系统之间的差距: (1) 在动态变化的条件下，嵌入式设备的操作。现有的TinyML解决方案主要集中于推断，使用在强大的计算机上进行离线训练的模型，并部署为静态对象。然而，在实际环境中，由于输入数据分布的演变，静态模型可能性能不佳。我们提出在线学习以实现在受限设备上的训练，并使本地模型适应最新的现场条件。(2)然而，当前的设备端学习方法在部署条件异构和标注数据缺乏的情况下遇到困难，特别是在多设备上应用。 我们引入联邦元学习将在线学习结合在一起，以增强模型的泛化能力，促进快速学习。本方法通过知识共享确保分布式设备之间的最佳性能。(3)此外，TinyML的重要优势是被广泛采用。嵌入式设备和TinyML模型优先考虑高效率，导致资源的多样性，从内存和传感器到模型架构都具有多样性和非标准化的表示，因此在扩展TinyML系统时管理这些资源变得具有挑战性。 我们提出语义管理以进行模型和设备的联合管理。我们通过一个基本的回归示例演示了我们的方法，然后在三个真实的TinyML应用中进行评估：手写字符图像分类，关键词音频分类和智能建筑出席检测，验证了我们方法的有效性。

May, 2024

本研究解决了在资源受限的电池驱动物联网设备中，如何降低数据采集频率以优化TinyML模型的问题。通过将数据采集率降低，实验表明可以显著减少能耗和计算负担，同时保持分类精度的接近不变。该研究对TinyML模型在受限环境中的高效部署具有重要意义。

Sep, 2024