多模态数据中的人类动作识别:一篇综述
人体活动识别(HAR)是一项基础研究领域,已经在家庭与职场自动化、安全监控以及医疗保健等多个应用中得到应用。本文综述了基于传感器的 HAR,讨论了依赖于 HAR 的几个重要应用,并介绍了 HAR 中常用的机器学习方法,同时探讨了 HAR 存在的若干挑战以进一步提高其稳健性。
Sep, 2023
多模态人体动作识别的综述研究,重点关注多模态数据融合设计方面的经典和新兴技术,分析了卷积神经网络和 Transformer 建模方法在该问题上的流行趋势和更高效的模型设计选择,并讨论了实践模型训练中的有前景的架构和融合设计选择,以及多模态数据集的规模和评估视角,提出了多模态人体动作识别的挑战与未来发展方向。
May, 2024
结合增加的预期寿命和下降的出生率导致人口老龄化问题,可穿戴传感器技术的人体活动识别成为一种有着巨大潜力的辅助技术来支持老年人的日常生活,近期的研究聚焦于深度学习方法或单一传感器模态,为了给机器带来类似的智能,多模态机器学习成为研究者们热衷的领域之一,本研究从新颖的视角对多模态学习在可穿戴传感器技术的人体活动识别领域的应用进行全面调查,包括探索最近的传感器模态和深度学习方法,研究目前的多模态系统的技术,以及解决现有问题的多模态学习方法,同时连接其他领域的多模态文献与当前的可穿戴传感器技术的人体活动识别领域,最后识别出当前领域的挑战和潜在研究方向以进一步提升该技术的性能。
Apr, 2024
通过分类数据异构类型、应用相应的适合的机器学习方法、总结可用的数据集并讨论未来的挑战,本论文探讨了机器学习如何解决人体活动识别中的数据异构问题。
Mar, 2024
本文系统性地综述了数据注释技术在 Human Activity Recognition (HAR) 领域中的应用,通过分类和分类法对现有方法进行整理,旨在为应用场景中的技术决策提供支持。
Jul, 2023
通过多模态对比预训练方法 MuJo,利用视频、语言、姿势和 IMU 传感器数据,改善了不同模态下的人类活动识别性能,在 MM-Fit 数据集上达到了令人印象深刻的宏平均 F1-Score 为 0.992 和 0.999 的分类效果,同时展示了最高达 0.638 的泛化性能。
Jun, 2024
本文提出了一个可适用于多种应用场景的人体动作识别框架,包含多形式人体检测和对应动作分类两个模块。其中,通过构建开源数据集来训练多形式人体检测模型,从而识别人的整体、上半身或部分身体,并采用动作分类模型来识别跌倒、睡觉等动作。实验结果表明,该框架对于各种应用场景都是有效的,是一种新的面向应用的人体动作识别 AI 范式。
Sep, 2022