Nov, 2019

FANN-on-MCU: 一个边缘计算中针对能效的神经网络推断的开源工具集

PDF
TL;DR本文介绍了一个名为 FANN-on-MCU 的开源工具包，该工具基于快速人工神经网络（FANN）库，可以在基于 ARM Cortex-M 系列和新的基于 RISC-V 的 Parallel Ultra-Low-Power (PULP) 平台上运行轻量级、高效率的神经网络，用于进行边缘计算。该工具包可以生成针对低功耗微控制器执行的代码，并提供了在不同平台上经过实验证明的性能评估，通过实验结果表明其具有低延迟和低功耗等优势。
edge computingmachine learningneural networksmicrocontrollersenergy-efficiency
发现论文，激发创造
  • CMSIS-NN: 为 Arm Cortex-M CPU 提供高效神经网络核心

    介绍了 CMSIS-NN，这是一种针对智能 IoT 边缘设备的 Arm Cortex-M 处理器开发的高效内核，可实现神经网络性能最大化和内存占用最小化，推断时 CMSIS-NN 内核基于神经网络的速度 / 吞吐量的改进为 4.6 倍，能效提高了 4.9 倍。

    Jan, 2018

  • SpArSe: 基于稀疏性的卷积神经网络在资源受限 微控制器中的架构搜索

    本文介绍了如何在内存受限的微控制器单元（MCU）上部署卷积神经网络（CNN），并提出了一种自动设计 CNN 的框架 Sparse Architecture Search，将神经架构搜索与剪枝相结合，通过在 IoT 数​​据集上的测试，证明了这种方法可以在满足 MCU 内存限制的同时实现更好的性能。

    May, 2019

  • 小型机器学习的高效神经网络：综述

    深入分析了高效神经网络和深度学习模型在超低功耗微控制器上部署的细微机器学习（TinyML）应用的进展，并指出了未来的研究方向。

    Nov, 2023

  • MCUNet: 物联网设备上的小型深度学习

    本研究提出了 MCUNet 框架，该框架共同设计了高效的神经结构（TinyNAS）和轻量级推断引擎（TinyEngine），使得可以在微控制器上进行 ImageNet 规模的推理。

    Jul, 2020

  • 面向资源受限的微控制器的机器学习和推断技术

    本文提出了一种适用于微控制器单元 (MCUs) 的无电池 ML 推理和模型个性化管道，使用此管道在深海中进行了鱼类图像识别并比较其准确性，运行时长，功率和能源消耗等优劣，结果表明，在 MCUs 上可以实现 97.78％的精度，达到了无电池 ML 推理的可行性。

    May, 2023

  • MicroNets: 用于在商用微控制器上部署 TinyML 应用的神经网络架构

    本文介绍了机器学习在资源受限的微控制器上的应用，使用神经结构搜索算法来设计满足内存、延迟和能耗限制的模型，并通过可微分神经结构搜索算法搜索出了具有低内存使用和低操作计数的 MicroNet 模型，验证该文述方法在视觉唤醒词、音频关键词检测和异常检测等领域的优越性。

    Oct, 2020

  • vMCU: MCU 上的 DNN 推理的协调内存管理和内核优化

    基于微控制器单元（MCU）的物联网设备为近传感器深度学习模型（DNN）提供超低功耗和无处不在的计算能力。本文提出了一种协同 MCU 上的 DNN 推断的内存管理和内核优化方法，以实现细粒度的内存管理。通过将有限内存虚拟化为一个大型内存池，每个内核将内存池划分为内核特定的段，并在计算 DNN 层时处理段的加载和存储，从而减少内存消耗。实验结果表明，相较于现有技术，所提方法在 MCU 上可以降低 RAM 使用量 12.0% 至 49.5%，能量消耗 20.6% 至 53.0%，对于完整的 DNN 评估，内存瓶颈可以降低 61.5%，从而使更多的模型能够部署在低端 MCU 上。

    May, 2024

  • 低功耗可穿戴平台上基于卷积 - 循环神经网络的心律失常检测

    本研究旨在优化低功耗传感技术在医疗保健中的应用，通过使用机器学习和神经网络的方法对生理信号进行监测和识别，提高传感设备的临床价值，并在使用嵌入式处理器 nRF52 时实现低功耗高精度计算。

    Jan, 2020

  • 在低功耗 MCU 上优化微型 Transformer 的部署

    本研究提出了一种在商业微控制器上对 Transformer 模型进行端到端部署的优化框架，通过优化库和新的推理调度方案，在多个 MCU 平台上实现了更低的延迟和能量消耗。

    Apr, 2024

  • PULP-NN: 在并行超低功耗 RISC-V 处理器上加速量化神经网络

    PULP-NN 是一种优化的计算库，用于并行超低功耗 RISC-V 处理器集群，其关键创新在于量化神经网络推理的内核，可实现对字节和子字节数据类型的优化，利用 PULP RISC-V 处理器提供的数字信号处理扩展和集群并行性，可以达到高达 15.5 个 MACs / 周期的性能，提高了多倍的执行效率，特别是在嵌入式系统中的优化效果相当明显。

    Aug, 2019