Mar, 2022

On-Device Learning: 基于神经网络的现场可训练边缘 AI

PDF
TL;DR本文介绍了一种基于神经网络的设备本地 (on-device) 学习方法，该方法能够在低端设备上提高边缘人工智能 (Edge AI) 应用的精确度并节省计算和通信成本，特别是在有噪声的环境下重训练 (retraining) 后可显著提高异物检测 (anomaly detection) 的准确性。
edge ai applicationson-device learningneural networkanomaly detectionlow power
发现论文，激发创造
  • 通过梯度过滤实现高效的设备端训练

    本文提出了一种新的梯度过滤方法，使用少量的独特元素创建特殊的结构来显著减少反向传播期间的计算复杂度和内存消耗，从而实现了设备端深度学习模型训练，显著提高了速度和节省了能源。

    Jan, 2023

  • 面向低端边缘设备的设备学习顺序概念漂移检测方法

    本文提出一种边缘 AI 系统中的概念漂移检测方法，通过序列计算实现神经网络的重新训练和检测概念漂移，降低计算和内存使用，实现在 Raspberry Pi Pico 等资源受限的设备上的应用。

    Dec, 2022

  • 一种基于神经网络的边缘设备本地学习异常检测器

    提出了 ONLAD 与其 IP 核 ONLAD Core，并且将其优化到能够在一毫秒以内快速序列学习以跟随概念漂移，在边缘设备上进行低功耗的设备学习，从而实现了不需要边缘和服务器之间执行数据传输的独立执行。实验结果表明，ONLAD 具有优秀的异常检测能力，并且 ONLAD Core 的评估证实其训练延迟比其他软件实现快 1.95x 到 6.58x，PYNQ-Z1 板上实现的运行时功耗比它们低 5.0x 到 25.4x。

    Jul, 2019

  • 低功耗极端边缘嵌入式系统上的关键词检测设备域学习

    在本研究中，我们提出了一个完全基于设备的领域适应系统，相较于已经稳健的关键词识别模型，能够获得 14% 的准确度提升。我们使用少于 10 kB 的内存，仅 100 个标记的话语就能在适应复杂的语音噪声后恢复 5% 的准确度，展示了域适应在低功耗微控制器上的可行性，仅需 806 mJ 的能量，在始终开启的电池供电设备上执行时间为 14 秒。

    Mar, 2024

  • 设备端机器学习：算法与学习理论视角

    本篇论文对设备上的机器学习进行了全面的调查和分类，将 On-device Learning 问题重新表述为资源受限的学习，如何在设备资源有限的情况下进行模型训练是未来需要关注的重点。

    Nov, 2019

  • 现在我能看到，我能改进：在边缘使 CNN 的数据驱动微调成为可能

    本文提供基于结构剪枝的边缘设备上的 CNN 微调方法，旨在提高模型精度和降低计算和存储性能消耗。结果表明，数据感知的剪枝和重新训练可以在各种子集，网络和剪枝级别上提供 10.2pp 的精度提高。

    Jun, 2020

  • 网络边缘的机器学习调查

    本文综述了在边缘计算设备上部署机器学习系统的主要研究工作，重点关注了智能边缘系统成功应用中使用的压缩技术、工具、框架和硬件等方面的运营问题。

    Jul, 2019

  • 通过过滤器剪枝和知识迁移在边缘设备上实现深度学习

    本文提出了一种在资源受限设备上部署和训练最先进模型的新解决方案，其中包括通过一种基于滤波修剪的模型压缩方法创造轻量级可训练模型，以及一种新型知识转移方法，允许在设备上的模型实时增量更新，并以无监督的方式通过云端模型学习新的类别。实验结果表明，该新方法可以在保持良好准确率的同时移除高达 99.36％的模型参数，并且允许在设备上的压缩模型在实时内收敛于增量学习任务并识别未见过的数据类别。

    Jan, 2022

  • TinyTrain：极端边缘的深度神经网络训练

    TinyTrain 是一个在设备上训练的方法，通过选择性更新模型的部分并明确处理数据稀缺性，大大减少了训练时间，在减少计算和内存占用的同时，实现了高精度的未知任务。

    Jul, 2023

  • 边缘设备上实现深度学习

    本论文探讨了 DNN 在资源受限的边缘设备上部署的优化问题，并研究了四种边缘智能场景下的深度学习方法，通过减少 DNN 冗余度来达到资源消耗与模型准确度之间的平衡。

    Oct, 2022