UMSNet: 一种用于人体活动识别的通用多传感器网络
本文提出了一种基于 U-Net 的 HAR 算法,通过将加速度计的活动数据映射为具有单像素列和多通道的图像输入到神经网络进行训练和识别,从而实现像素级姿态识别,无需手动特征提取,能够有效识别长期活动序列中的短期行为,与其他六种机器学习方法相比,该算法在各数据集中具有最高的准确性和 F1 得分,并具有稳定表现和高鲁棒性,同时实现了快速识别速度。
Sep, 2018
通过多模态对比预训练方法 MuJo,利用视频、语言、姿势和 IMU 传感器数据,改善了不同模态下的人类活动识别性能,在 MM-Fit 数据集上达到了令人印象深刻的宏平均 F1-Score 为 0.992 和 0.999 的分类效果,同时展示了最高达 0.638 的泛化性能。
Jun, 2024
使用深度学习模型(如卷积神经网络和 Transformer)进行人类活动识别,研究表明特征融合对于改善活动识别系统的准确性和稳健性具有重要意义。使用 HuGaDB、PKU-MMD、LARa 和 TUG 数据集,PO-MS-GCN 和 Transformer 模型在准确性上进行了训练和评估,PO-MS-GCN 模型在效果上优于其他先进模型,并且特征融合在不同数据集上改善了结果。
Jun, 2024
综合不同的感知模态与多个位置有助于形成对人类行为等复杂情况的统一感知和理解,因此,人类活动识别受益于综合冗余和互补信息(单模态 / 多模态)。然而,这并不是一项容易的任务,它需要多学科的方法,包括传感器技术、信号处理、数据融合算法和领域特定知识。本博士研究使用惯性、压力(音频和大气压力)和纺织电容感应等感知模型进行人类活动识别。所探索的场景包括手势和手部位置跟踪、面部和头部模式识别以及身体姿势和手势识别。所选择的可穿戴设备和感知模型完全集成了基于机器学习的算法,其中一些实现在嵌入式设备上,并在实时环境中进行了测试。
Apr, 2024
本文介绍了一种基于深度卷积神经网络的感知网络(PerceptionNet),其应用于多模态时间序列传感器数据中的后期二维卷积,以自动提取用于人类动作识别的有效特征。我们通过在两个公共可用的 HAR 数据集上进行评估来展示我们的方法,表明所提出的模型有效地融合了多模态传感器,并通过超过 3%的平均准确度优于基于:(i)从人体中提取的特征,(ii)利用早期融合方法的深度卷积神经网络和(iii)长期短期记忆(LSTM)的最先进的 HAR 方法。
Nov, 2018
为了改进基于可穿戴传感器的人体活动识别,本文提出了一种从 3D 骨架姿势序列中直接生成传感器数据的姿势到传感器网络模型,并同时训练姿势到传感器网络和人体活动分类器,通过优化数据重构和活动识别来改进性能。实验结果表明该框架优于基线方法,并在 MM-Fit 数据集上取得了显著的性能提升。
Apr, 2024
本文介绍了一种新方法,即多视图融合变压器(MVFT),通过编码时间视图、频繁视图和统计视图来生成多视图特征,并提出一种新的注意机制以揭示细节关系建模。实验表明,该方法比几种最先进的方法更优异。
Feb, 2022
本文提出了一种基于自监督技术的特征学习方法,应用于无形标签的传感器数据。该方法可以应用于人类活动识别等领域,可以通过转化识别任务提供监督信号提取有价值的特征,并在智能手机环境下的无人监督、半监督和迁移学习的情况下实现了与完全监督网络相当甚至更好的性能。该技术可被广泛应用于其他领域。
Jul, 2019
本文介绍了一种使用双向长短期记忆残差网络架构以提高人类活动识别效率的方法,测试表明与以往相比,识别率提高了 4.78% 和 3.68%。
Aug, 2017
本文提出了一种基于知识蒸馏的多模态中融合方法,即 DMFT,以在多模态人类活动识别任务中进行信息特征提取和融合,解决深度学习方法无法充分探索跨多模态信息融合的问题,并通过评估表明该方法在有效性,可扩展性和鲁棒性方面均取得了有竞争力的表现。
May, 2023