MMApr, 2024

可穿戴活动识别的单模态和多模态传感器融合

PDF
TL;DR综合不同的感知模态与多个位置有助于形成对人类行为等复杂情况的统一感知和理解，因此，人类活动识别受益于综合冗余和互补信息（单模态 / 多模态）。然而，这并不是一项容易的任务，它需要多学科的方法，包括传感器技术、信号处理、数据融合算法和领域特定知识。本博士研究使用惯性、压力（音频和大气压力）和纺织电容感应等感知模型进行人类活动识别。所探索的场景包括手势和手部位置跟踪、面部和头部模式识别以及身体姿势和手势识别。所选择的可穿戴设备和感知模型完全集成了基于机器学习的算法，其中一些实现在嵌入式设备上，并在实时环境中进行了测试。
human activity recognitionsensing modalitiesmultimodaldata fusionmachine learning
发现论文，激发创造
  • 多模态可佩戴传感器人体动作识别调查

    结合增加的预期寿命和下降的出生率导致人口老龄化问题，可穿戴传感器技术的人体活动识别成为一种有着巨大潜力的辅助技术来支持老年人的日常生活，近期的研究聚焦于深度学习方法或单一传感器模态，为了给机器带来类似的智能，多模态机器学习成为研究者们热衷的领域之一，本研究从新颖的视角对多模态学习在可穿戴传感器技术的人体活动识别领域的应用进行全面调查，包括探索最近的传感器模态和深度学习方法，研究目前的多模态系统的技术，以及解决现有问题的多模态学习方法，同时连接其他领域的多模态文献与当前的可穿戴传感器技术的人体活动识别领域，最后识别出当前领域的挑战和潜在研究方向以进一步提升该技术的性能。

    Apr, 2024

  • MuJo：人体活动识别的多模态联合特征空间学习

    通过多模态对比预训练方法 MuJo，利用视频、语言、姿势和 IMU 传感器数据，改善了不同模态下的人类活动识别性能，在 MM-Fit 数据集上达到了令人印象深刻的宏平均 F1-Score 为 0.992 和 0.999 的分类效果，同时展示了最高达 0.638 的泛化性能。

    Jun, 2024

  • 惯性测量单元基于跨模态迁移学习在人体活动识别中的调查

    人类行为 / 动作识别中，通过跨模态转移学习，介绍了人工智能模型、IMU 数据和多模态学习的重要性以及它们的应用潜力。

    Mar, 2024

  • 利用惯性、生理和环境传感器进行的人体活动识别：综述

    本文综述了机器学习在发展基于惯性传感器以及生理和环境传感器的人类活动识别应用中所扮演的重要角色。

    Apr, 2020

  • 人体动作识别的渐进式跨模态知识蒸馏

    本研究提出了一种新颖的渐进式骨架到传感器知识蒸馏模型 (PSKD)，利用智能手表的时间序列数据，解决佩戴式传感器人类动作识别问题。通过构建多个教师模型和学生模型，设计了一种自适应置信度语义 (ACS) 损失函数。实验结果表明，PSKD 方法在 Berkeley-MHAD、UTD-MHAD 和 MMAct 数据集上具有与之前的单传感器 HAR 方法相比的竞争性能。

    Aug, 2022

  • 人体活动识别中的迁移学习综述

    基于传感器的人体活动识别是一个活跃的研究领域，本文调查了应用于智能家居和可穿戴设备的活动识别的迁移学习方法，总结了现有工作并提出了未来研究方向。

    Jan, 2024

  • 多模态数据中的人类动作识别：一篇综述

    本文综述了基于不同数据形式的深度学习方法在人类动作识别方面的应用以及涉及 co-learning 和融合等技术，并对多个基础数据集进行了实验比较研究与探讨未来研究方向。

    Dec, 2020

  • 传感器数据下的人体活动识别概述

    人体活动识别（HAR）是一项基础研究领域，已经在家庭与职场自动化、安全监控以及医疗保健等多个应用中得到应用。本文综述了基于传感器的 HAR，讨论了依赖于 HAR 的几个重要应用，并介绍了 HAR 中常用的机器学习方法，同时探讨了 HAR 存在的若干挑战以进一步提高其稳健性。

    Sep, 2023

  • 可穿戴传感器人类活动识别中的深度学习技术：进展综述

    本文系统分类总结了利用低功率传感器进行人体活动识别的深度学习方法及其发展趋势和主要挑战，同时介绍了深度学习驱动人体活动识别的尖端技术和未来方向。

    Oct, 2021

  • 基于传感器的人体姿态感知的机器学习技术研究及数据异质性综述

    通过分类数据异构类型、应用相应的适合的机器学习方法、总结可用的数据集并讨论未来的挑战，本论文探讨了机器学习如何解决人体活动识别中的数据异构问题。

    Mar, 2024