Mar, 2024

内嵌式开发环境在设备端学习中的可用性和性能分析

PDF
TL;DR本文经验性地研究了适用于设备上的 TinyML 实现的嵌入式开发工具。研究评估了不同抽象级别的开发工具在资源受限的物联网设备上的使用情况，从基本的硬件操作到最小化的机器学习训练部署。分析包括模型训练和推理过程中的内存使用、能源消耗和性能指标以及不同解决方案的可用性。Arduino 框架提供了易于实现的方式，但相比原生选项增加了能源消耗，而 RIOT OS 表现出高效的能源消耗，尽管内存利用率较高，其使用方便性与 Arduino 框架相当。操作系统中没有直接集成某些关键功能，比如 DVFS，凸显了对精细硬件控制的限制。
发现论文，激发创造
  • 异构低功耗 SoC 的机器学习本地评估工具包

    本文介绍了一种名为 U-TOE 的通用工具包，它结合了低功耗嵌入式操作系统、通用模型转换器和编译器、集成性能测量模块以及开放访问的远程 IoT 测试平台的功能，旨在为 AIoT 设计师和研究人员提供便利，加速边缘计算的发展。

    Jun, 2023

  • TensorFlow Lite Micro: 嵌入式 TinyML 系统上的机器学习

    介绍了一个名为 TensorFlow Lite Micro (TF Micro) 的开源机器学习推理框架，它采用基于解释器的独特方法，旨在解决嵌入式系统资源限制和碎片化挑战等问题。此框架具有低资源需求和最小的运行时性能开销。

    Oct, 2020

  • TinyML: 工具、应用、挑战和未来研究方向

    综述了 TinyML 的背景、各种支持 TinyML 的工具、利用先进技术进行 TinyML 的最新应用以及未来研究方向，TinyML 是一种嵌入式 ML 技术，使 ML 应用程序能够在多个廉价、资源和功耗受限设备上运行

    Mar, 2023

  • 用快速重定向在微控制器上对 TinyML 进行基准测试

    本文提出了一个名为 MLonMCU 的工具，通过在大量配置中自动化端到端基准测试流程并演示了 TFLite 和 TVM 等 TinyML 框架在微控制器上的无缝性能测试。

    Jun, 2023

  • 在 NVIDIA Jetson Nano 上为实时系统进行深度学习模型基准测试：一项实证研究

    研究了在低计算能力和低内存设备上部署复杂的深度学习模型的优化方法以提高推断速度，证明了硬件特定的模型优化能够有效降低能源消耗和碳足迹。

    Jun, 2024

  • TinyML 综述

    本文探讨了如何将机器学习算法应用于低功耗廉价的物联网设备中，TinyML 作为将深度神经网络模型部署到嵌入式系统上的交叉领域，将为边缘服务和应用程序铺平道路。

    Nov, 2022

  • 深度神经网络在微控制器上的量化与部署

    本文介绍了一个新的深度神经网络量化和部署的框架，MicroAI，并研究了在低功耗 32 位微控制器上应用该框架的优化方法和效果。通过对三个不同数据集 (UCI-HAR、Spoken MNIST 和 GTSRB) 的评估，与两种已有的嵌入式推理引擎 (TensorFlow Lite for Microcontrollers 和 STM32CubeAI) 的比较和在 ARM Cortex-M4F 微控制器 (Ambiq Apollo3 和 STM32L452RE) 上的验证，证明了 MicroAI 具有更好的内存和功耗效率。

    May, 2021

  • 基于时间编码的深度强化学习在嵌入式设备上的实时应用 CPU 频率调度

    在本研究中，我们专注于为小型设备开发高效的功耗管理方法，通过使用基于强化学习和时间编码的技术从三种具有挑战性的工作负载 / 系统模式中导出一个有效的 DVFS 调度器，该调度器仅使用一个性能计数器并能适应性能需求，在能源节约方面优于内置的 Linux 方法。

    Sep, 2023

  • 面向资源受限的微控制器的机器学习和推断技术

    本文提出了一种适用于微控制器单元 (MCUs) 的无电池 ML 推理和模型个性化管道，使用此管道在深海中进行了鱼类图像识别并比较其准确性，运行时长，功率和能源消耗等优劣，结果表明，在 MCUs 上可以实现 97.78％的精度，达到了无电池 ML 推理的可行性。

    May, 2023

  • 基于设备的 TinyML 系统的在线学习和语义管理

    近年来微型机器学习（TinyML）的最新进展为低占用嵌入式设备提供了实时的设备端机器学习能力。然而，TinyML 的实际实施面临着独特的挑战。本研究旨在弥合原型设计的单一 TinyML 模型与开发可靠的生产级 TinyML 系统之间的差距: (1) 在动态变化的条件下，嵌入式设备的操作。现有的 TinyML 解决方案主要集中于推断，使用在强大的计算机上进行离线训练的模型，并部署为静态对象。然而，在实际环境中，由于输入数据分布的演变，静态模型可能性能不佳。我们提出在线学习以实现在受限设备上的训练，并使本地模型适应最新的现场条件。(2) 然而，当前的设备端学习方法在部署条件异构和标注数据缺乏的情况下遇到困难，特别是在多设备上应用。 我们引入联邦元学习将在线学习结合在一起，以增强模型的泛化能力，促进快速学习。本方法通过知识共享确保分布式设备之间的最佳性能。(3) 此外，TinyML 的重要优势是被广泛采用。嵌入式设备和 TinyML 模型优先考虑高效率，导致资源的多样性，从内存和传感器到模型架构都具有多样性和非标准化的表示，因此在扩展 TinyML 系统时管理这些资源变得具有挑战性。 我们提出语义管理以进行模型和设备的联合管理。我们通过一个基本的回归示例演示了我们的方法，然后在三个真实的 TinyML 应用中进行评估：手写字符图像分类，关键词音频分类和智能建筑出席检测，验证了我们方法的有效性。

    May, 2024