Feb, 2022

如何在规模上管理微型机器学习：工业视角

PDF
TL;DR本文提出了一个基于语义 Web 技术的框架，旨在管理 TinyML 模型和 IoT 设备的组合，包括建模信息、组合发现和基准测试，并支持 TinyML 组件的交换和再利用。作者设计了一个神经网络模型本体论，并以 W3C Thing Description 为基础，描述和维护 23 个公共 ML 模型和 6 个 IoT 设备的知识图谱。通过三个案例研究，验证了该框架的有效性和可重复性。
tinymlsemantic webiot devicesontologyneural network models
发现论文，激发创造
  • TinyML: 工具、应用、挑战和未来研究方向

    综述了 TinyML 的背景、各种支持 TinyML 的工具、利用先进技术进行 TinyML 的最新应用以及未来研究方向，TinyML 是一种嵌入式 ML 技术，使 ML 应用程序能够在多个廉价、资源和功耗受限设备上运行

    Mar, 2023

  • TinyML 综述

    本文探讨了如何将机器学习算法应用于低功耗廉价的物联网设备中，TinyML 作为将深度神经网络模型部署到嵌入式系统上的交叉领域，将为边缘服务和应用程序铺平道路。

    Nov, 2022

  • 基于设备的 TinyML 系统的在线学习和语义管理

    近年来微型机器学习（TinyML）的最新进展为低占用嵌入式设备提供了实时的设备端机器学习能力。然而，TinyML 的实际实施面临着独特的挑战。本研究旨在弥合原型设计的单一 TinyML 模型与开发可靠的生产级 TinyML 系统之间的差距: (1) 在动态变化的条件下，嵌入式设备的操作。现有的 TinyML 解决方案主要集中于推断，使用在强大的计算机上进行离线训练的模型，并部署为静态对象。然而，在实际环境中，由于输入数据分布的演变，静态模型可能性能不佳。我们提出在线学习以实现在受限设备上的训练，并使本地模型适应最新的现场条件。(2) 然而，当前的设备端学习方法在部署条件异构和标注数据缺乏的情况下遇到困难，特别是在多设备上应用。 我们引入联邦元学习将在线学习结合在一起，以增强模型的泛化能力，促进快速学习。本方法通过知识共享确保分布式设备之间的最佳性能。(3) 此外，TinyML 的重要优势是被广泛采用。嵌入式设备和 TinyML 模型优先考虑高效率，导致资源的多样性，从内存和传感器到模型架构都具有多样性和非标准化的表示，因此在扩展 TinyML 系统时管理这些资源变得具有挑战性。 我们提出语义管理以进行模型和设备的联合管理。我们通过一个基本的回归示例演示了我们的方法，然后在三个真实的 TinyML 应用中进行评估：手写字符图像分类，关键词音频分类和智能建筑出席检测，验证了我们方法的有效性。

    May, 2024

  • 微型机器学习：进展与前景

    Tiny Machine Learning （TinyML）是机器学习的新领域。通过将深度学习模型应用于无数物联网设备和微控制器（MCU），我们扩大了人工智能应用的范围并实现了无处不在的智能。然而，由于硬件限制，TinyML 具有一定挑战性，因为内存资源有限，难以容纳为云和移动平台设计的深度学习模型；同时，裸机设备对编译器和推理引擎的支持有限。因此，我们需要对算法和系统栈进行共同设计，以实现 TinyML。在此综述中，我们首先讨论 TinyML 的定义、挑战和应用；接下来，我们调查了最近在 MCUs 上 TinyML 和深度学习的进展；然后，我们介绍了 MCUNet，展示了如何通过系统 - 算法共同设计，在物联网设备上实现 ImageNet 规模的人工智能应用；我们还将解决方案从推理扩展到训练，并介绍了小型设备上的训练技术；最后，我们展示了这个领域的未来发展方向。今天的大型模型可能成为明天的小型模型，TinyML 的范围应该随着时间的推移而不断发展和适应。

    Mar, 2024

  • 面向机器学习的微型机器学习调查

    综述了 TinyML 的学习算法、系统实现工作流程、模型优化与设计、硬件设备和软件工具的特点，以及挑战和未来方向。

    Sep, 2023

  • 物联网数据分析的机器学习：一项调查

    本文评估了处理物联网数据挑战的不同机器学习方法，以智能城市为主要案例。该研究的关键贡献是提供一个机器学习算法分类法，阐述如何应用不同技术从数据中提取高层次信息。此外，还讨论了机器学习在物联网数据分析中的潜力和挑战，并介绍了应用支持向量机（SVM）在奥尔胡斯智能城市交通数据上的案例。

    Feb, 2018

  • SeLoC-ML: 工业物联网中用于机器学习应用的语义低代码工程

    本文介绍了一个基于语义低代码工程的 ML 应用程序框架，名为 SeLoC-ML，利用语义 Web 技术来支持在工业物联网（IIoT）中快速开发 ML 应用程序，使非专业人士能够轻松建模、发现、复用和匹配 ML 模型和设备。SeLoC-ML 在至少降低三倍的工程努力方面显示了效率和实用性。

    Jul, 2022

  • 多联感知技术：面向物联网的大规模多传感器学习

    提出了 MultiIoT，这是迄今为止最广泛的物联网基准，涵盖了来自 12 种方式和 8 项任务的超过 115 万个样本，引入了在学习许多感知模式、跨长时间范围内进行细粒度交互以及由于现实世界传感器的唯一结构和噪声拓扑而导致的极端异质性等方面的独特挑战，同时发布了一组强大的建模基线，从方式和任务特定方法到多感官和多任务模型，以鼓励未来在物联网的多感官表征学习方面的研究。

    Nov, 2023

  • 物联网的机器学习和软件建模的模型驱动方法

    本研究旨在提出一种综合方法，将软件工程和人工智能社区的模型结合起来，实现驱动智能系统的模型驱动软件开发，主要着重于物联网领域，并通过案例研究和用户评估验证了该方法的可行性和性能提升。

    Jul, 2021

  • TensorFlow Lite Micro: 嵌入式 TinyML 系统上的机器学习

    介绍了一个名为 TensorFlow Lite Micro (TF Micro) 的开源机器学习推理框架，它采用基于解释器的独特方法，旨在解决嵌入式系统资源限制和碎片化挑战等问题。此框架具有低资源需求和最小的运行时性能开销。

    Oct, 2020