Oct, 2023

MCUFormer：在内存有限的微控制器上部署视觉 Transformer

PDF
TL;DR本文提出了一种名为 MCUFormer 的硬件算法协同优化方法，用于在内存极为有限的微控制器上部署视觉变换器，实现图像分类任务，通过考虑降维尺寸和补丁分辨率来扩展视觉变换器的搜索空间，并通过操作符集成、补丁嵌入分解和令牌覆写等方法来构建视觉变换器的推理操作库，实验结果表明 MCUFormer 在 STM32F746 微控制器上实现了 320KB 内存的 ImageNet 图像分类任务的 73.62％的 Top-1 准确率。
iot devicesmicrocontrollersvision transformersmemory resource constraintinference operator library
发现论文，激发创造
  • TinyFormer：小型设备上高效的 Transformer 设计与部署

    本文提出了 TinyFormer，这是一个专门设计用于在微控制器单元上开发和部署资源高效的 transformers 的框架，通过 SuperNAS、SparseNAS 和 SparseEngine 的组合，实现了在 MCUs 上高效部署 sparse models 以及稀疏推理。评估结果表明，TinyFormer 能够以 96.1% 的准确率开发有效的 transformers，并在稀疏推理上相对于 CMSIS-NN 库实现了高达 12.2 倍的加速。TinyFormer 将强大的 transformers 引入了 TinyML 场景，极大地扩展了深度学习应用领域。

    Nov, 2023

  • 在低功耗 MCU 上优化微型 Transformer 的部署

    本研究提出了一种在商业微控制器上对 Transformer 模型进行端到端部署的优化框架，通过优化库和新的推理调度方案，在多个 MCU 平台上实现了更低的延迟和能量消耗。

    Apr, 2024

  • MCUNet: 物联网设备上的小型深度学习

    本研究提出了 MCUNet 框架，该框架共同设计了高效的神经结构（TinyNAS）和轻量级推断引擎（TinyEngine），使得可以在微控制器上进行 ImageNet 规模的推理。

    Jul, 2020

  • SpArSe: 基于稀疏性的卷积神经网络在资源受限 微控制器中的架构搜索

    本文介绍了如何在内存受限的微控制器单元（MCU）上部署卷积神经网络（CNN），并提出了一种自动设计 CNN 的框架 Sparse Architecture Search，将神经架构搜索与剪枝相结合，通过在 IoT 数​​据集上的测试，证明了这种方法可以在满足 MCU 内存限制的同时实现更好的性能。

    May, 2019

  • MCUNetV2: 面向小型深度学习的高效内存补丁推理

    该研究提出了一种基于分块的推理调度方法和神经网络重构技术，通过结合神经网络的设计和推理调度，实现了在微控制器单元上高效、准确的深度学习推理，并改善了已有网络的内存瓶颈问题。

    Oct, 2021

  • vMCU: MCU 上的 DNN 推理的协调内存管理和内核优化

    基于微控制器单元（MCU）的物联网设备为近传感器深度学习模型（DNN）提供超低功耗和无处不在的计算能力。本文提出了一种协同 MCU 上的 DNN 推断的内存管理和内核优化方法，以实现细粒度的内存管理。通过将有限内存虚拟化为一个大型内存池，每个内核将内存池划分为内核特定的段，并在计算 DNN 层时处理段的加载和存储，从而减少内存消耗。实验结果表明，相较于现有技术，所提方法在 MCU 上可以降低 RAM 使用量 12.0% 至 49.5%，能量消耗 20.6% 至 53.0%，对于完整的 DNN 评估，内存瓶颈可以降低 61.5%，从而使更多的模型能够部署在低端 MCU 上。

    May, 2024

  • MicroNets: 用于在商用微控制器上部署 TinyML 应用的神经网络架构

    本文介绍了机器学习在资源受限的微控制器上的应用，使用神经结构搜索算法来设计满足内存、延迟和能耗限制的模型，并通过可微分神经结构搜索算法搜索出了具有低内存使用和低操作计数的 MicroNet 模型，验证该文述方法在视觉唤醒词、音频关键词检测和异常检测等领域的优越性。

    Oct, 2020

  • 压缩视觉 Transformer 用于低资源视觉学习

    通过使用模型压缩技术，本研究旨在实现对视觉转换器在资源受限设备上的快速推理，以在边缘环境中将其部署在无人机上，并以最小的准确性损失，以便在监视、环境监测等领域开辟新的可能性。

    Sep, 2023

  • 深度神经网络在微控制器上的量化与部署

    本文介绍了一个新的深度神经网络量化和部署的框架，MicroAI，并研究了在低功耗 32 位微控制器上应用该框架的优化方法和效果。通过对三个不同数据集 (UCI-HAR、Spoken MNIST 和 GTSRB) 的评估，与两种已有的嵌入式推理引擎 (TensorFlow Lite for Microcontrollers 和 STM32CubeAI) 的比较和在 ARM Cortex-M4F 微控制器 (Ambiq Apollo3 和 STM32L452RE) 上的验证，证明了 MicroAI 具有更好的内存和功耗效率。

    May, 2021

  • 面向资源受限的微控制器的机器学习和推断技术

    本文提出了一种适用于微控制器单元 (MCUs) 的无电池 ML 推理和模型个性化管道，使用此管道在深海中进行了鱼类图像识别并比较其准确性，运行时长，功率和能源消耗等优劣，结果表明，在 MCUs 上可以实现 97.78％的精度，达到了无电池 ML 推理的可行性。

    May, 2023