Jun, 2024

MuJo：人体活动识别的多模态联合特征空间学习

PDF
TL;DR通过多模态对比预训练方法 MuJo，利用视频、语言、姿势和 IMU 传感器数据，改善了不同模态下的人类活动识别性能，在 MM-Fit 数据集上达到了令人印象深刻的宏平均 F1-Score 为 0.992 和 0.999 的分类效果，同时展示了最高达 0.638 的泛化性能。
发现论文，激发创造
  • 可穿戴活动识别的单模态和多模态传感器融合

    综合不同的感知模态与多个位置有助于形成对人类行为等复杂情况的统一感知和理解，因此，人类活动识别受益于综合冗余和互补信息（单模态 / 多模态）。然而，这并不是一项容易的任务，它需要多学科的方法，包括传感器技术、信号处理、数据融合算法和领域特定知识。本博士研究使用惯性、压力（音频和大气压力）和纺织电容感应等感知模型进行人类活动识别。所探索的场景包括手势和手部位置跟踪、面部和头部模式识别以及身体姿势和手势识别。所选择的可穿戴设备和感知模型完全集成了基于机器学习的算法，其中一些实现在嵌入式设备上，并在实时环境中进行了测试。

    Apr, 2024

  • 惯性测量单元基于跨模态迁移学习在人体活动识别中的调查

    人类行为 / 动作识别中，通过跨模态转移学习，介绍了人工智能模型、IMU 数据和多模态学习的重要性以及它们的应用潜力。

    Mar, 2024

  • 使用参数优化的多阶段图卷积网络和 Transformer 模型进行人类活动识别的特征融合

    使用深度学习模型（如卷积神经网络和 Transformer）进行人类活动识别，研究表明特征融合对于改善活动识别系统的准确性和稳健性具有重要意义。使用 HuGaDB、PKU-MMD、LARa 和 TUG 数据集，PO-MS-GCN 和 Transformer 模型在准确性上进行了训练和评估，PO-MS-GCN 模型在效果上优于其他先进模型，并且特征融合在不同数据集上改善了结果。

    Jun, 2024

  • 人体活动检测的多任务自监督学习

    本文提出了一种基于自监督技术的特征学习方法，应用于无形标签的传感器数据。该方法可以应用于人类活动识别等领域，可以通过转化识别任务提供监督信号提取有价值的特征，并在智能手机环境下的无人监督、半监督和迁移学习的情况下实现了与完全监督网络相当甚至更好的性能。该技术可被广泛应用于其他领域。

    Jul, 2019

  • 使用跨模态知识挖掘的对比学习进行多模态人体活动识别

    本文提出了一个名为 CMC-CMKM 的多模态自监督学习框架，可以学习到更好的人体活动识别特征。在两个广泛使用的数据集上进行的广泛实验表明，该框架在不同场景下的性能显著优于对比单模态和多模态基线，在有些情况下甚至可以与监督方法相竞争。

    May, 2022

  • 使用硬负采样的多模态对比学习在人类活动识别中的应用

    人类活动识别（HAR）是一个广泛研究的课题，其中对于多模态 HAR，采用一种硬负采样方法以及对骨骼和 IMU 数据对的硬负采样损失进行学习，能够提供强大的特征表征，用于活动识别。

    Sep, 2023

  • 多模态数据中的人类动作识别：一篇综述

    本文综述了基于不同数据形式的深度学习方法在人类动作识别方面的应用以及涉及 co-learning 和融合等技术，并对多个基础数据集进行了实验比较研究与探讨未来研究方向。

    Dec, 2020

  • 跨域人体活动识别：少样本迁移学习

    通过利用公开标记的人体活动识别数据集进行转移学习，我们提出了一种经济有效的跨领域人体活动识别框架，以更好地处理具有非常有限标签信息的活动识别场景。

    Oct, 2023

  • 基于可穿戴设备的多级对比网络用于关节活动分割和识别

    本文介绍了一种基于深度学习的多类窗口问题解决方案 —— 使用分割技术的人类活动识别方法，并引入多阶段时间卷积网络（MS-TCN）进行样本级别的活动预测，同时使用多级对比损失以提高方法的鲁棒性，并在两个公共 HAR 数据集上验证了该方法的有效性。

    Aug, 2022

  • 人体活动识别中的迁移学习综述

    基于传感器的人体活动识别是一个活跃的研究领域，本文调查了应用于智能家居和可穿戴设备的活动识别的迁移学习方法，总结了现有工作并提出了未来研究方向。

    Jan, 2024