Jun, 2023

异构低功耗 SoC 的机器学习本地评估工具包

PDF
TL;DR本文介绍了一种名为 U-TOE 的通用工具包，它结合了低功耗嵌入式操作系统、通用模型转换器和编译器、集成性能测量模块以及开放访问的远程 IoT 测试平台的功能，旨在为 AIoT 设计师和研究人员提供便利，加速边缘计算的发展。
artificial intelligence of thingsmodel traininglow-power iot hardwareu-toeedge computing
发现论文，激发创造
  • 跨层优化实现资源高效 AIoT 系统：综述

    人工智能物联网（AIoT，AI+IoT）领域是由智能基础设施的广泛使用和深度学习（DL）的显著成功推动的。本研究通过优化资源友好型的深度学习模型以及模型自适应系统调度，来改善 DL 模型的准确性和响应性，推动由单独级别设置的性能边界。此外，针对 AIoT 环境的动态特性，本文还探索了适用于不同级别的上下文感知控制器，实现自动跨级别适应，并提出了资源高效的 AIoT 系统的一些潜在方向。

    Sep, 2023

  • TinyML: 工具、应用、挑战和未来研究方向

    综述了 TinyML 的背景、各种支持 TinyML 的工具、利用先进技术进行 TinyML 的最新应用以及未来研究方向，TinyML 是一种嵌入式 ML 技术，使 ML 应用程序能够在多个廉价、资源和功耗受限设备上运行

    Mar, 2023

  • 内嵌式开发环境在设备端学习中的可用性和性能分析

    本文经验性地研究了适用于设备上的 TinyML 实现的嵌入式开发工具。研究评估了不同抽象级别的开发工具在资源受限的物联网设备上的使用情况，从基本的硬件操作到最小化的机器学习训练部署。分析包括模型训练和推理过程中的内存使用、能源消耗和性能指标以及不同解决方案的可用性。Arduino 框架提供了易于实现的方式，但相比原生选项增加了能源消耗，而 RIOT OS 表现出高效的能源消耗，尽管内存利用率较高，其使用方便性与 Arduino 框架相当。操作系统中没有直接集成某些关键功能，比如 DVFS，凸显了对精细硬件控制的限制。

    Mar, 2024

  • AIoT 设备轻量级恶意软件检测模型的优化

    通过优化超级学习器元学习集成模型，使其适用于低端人工智能物联网设备，可在低端设备上运行，具有较低的推理持续时间和更小的内存占用，同时获得与高端设备相似的准确性和假阳性率。

    Apr, 2024

  • 使用 MicroTVM 在边缘上将机器学习模型部署到 AOT 运行时

    本文提出了一种将经过预训练的模型解析为 C 源代码并利用 MicroTVM 在边缘设备上执行的代码生成器。利用普适模块加速器接口（UMA），将特定的计算密集型操作轻松卸载到专用加速器上，而其他操作则在 CPU 核心上进行。 最后，作者使用 ARM Cortex M4F 核心进行了手势识别实验。

    Apr, 2023

  • TinyML 综述

    本文探讨了如何将机器学习算法应用于低功耗廉价的物联网设备中，TinyML 作为将深度神经网络模型部署到嵌入式系统上的交叉领域，将为边缘服务和应用程序铺平道路。

    Nov, 2022

  • 如何在规模上管理微型机器学习：工业视角

    本文提出了一个基于语义 Web 技术的框架，旨在管理 TinyML 模型和 IoT 设备的组合，包括建模信息、组合发现和基准测试，并支持 TinyML 组件的交换和再利用。作者设计了一个神经网络模型本体论，并以 W3C Thing Description 为基础，描述和维护 23 个公共 ML 模型和 6 个 IoT 设备的知识图谱。通过三个案例研究，验证了该框架的有效性和可重复性。

    Feb, 2022

  • 基于 TrustZone 启用的消费者物联网设备上的高效内存和安全的 DNN 推理

    边缘智能允许资源密集型深度神经网络进行推理，而无需传输原始数据，解决了消费者物联网设备中的数据隐私问题。我们提出了一种在 TrustZone 中进行先进模型部署的新方法，确保在模型推理过程中综合保护隐私。我们设计了一种内存高效的管理方法，支持内存密集型推理，通过调整内存优先级，有效地减少内存泄漏风险和内存冲突，并在受信任的操作系统中进行了 32 行代码的修改。此外，我们利用了两个小型库：S-Tinylib（2,538 行代码），一个小型深度学习库，和 Tinylibm（827 行代码），一个小型数学库，以支持在受信任执行环境中的高效推理。我们在 Raspberry Pi 3B + 上实现了一个原型，并使用三个知名的轻量级 DNN 模型进行了评估。实验结果表明，与在 TEE 中使用非内存优化方法相比，我们的设计能够将推理速度提高 3.13 倍，并降低功耗超过 66.5%。

    Mar, 2024

  • 微型机器学习：进展与前景

    Tiny Machine Learning （TinyML）是机器学习的新领域。通过将深度学习模型应用于无数物联网设备和微控制器（MCU），我们扩大了人工智能应用的范围并实现了无处不在的智能。然而，由于硬件限制，TinyML 具有一定挑战性，因为内存资源有限，难以容纳为云和移动平台设计的深度学习模型；同时，裸机设备对编译器和推理引擎的支持有限。因此，我们需要对算法和系统栈进行共同设计，以实现 TinyML。在此综述中，我们首先讨论 TinyML 的定义、挑战和应用；接下来，我们调查了最近在 MCUs 上 TinyML 和深度学习的进展；然后，我们介绍了 MCUNet，展示了如何通过系统 - 算法共同设计，在物联网设备上实现 ImageNet 规模的人工智能应用；我们还将解决方案从推理扩展到训练，并介绍了小型设备上的训练技术；最后，我们展示了这个领域的未来发展方向。今天的大型模型可能成为明天的小型模型，TinyML 的范围应该随着时间的推移而不断发展和适应。

    Mar, 2024

  • VEDLIoT-- 下一代加速 AIoT 系统和应用

    VEDLIoT 项目旨在针对人工智能物联网应用开发节能的深度学习技术。其提出了一种以模块化为基础、具有高可伸缩性的认知物联网硬件平台，使用异构计算提高性能和能源效率并整合全谱的硬件加速器。

    May, 2023