Feb, 2022

基于传感器的人体动作识别的多视角融合变压器

PDF
TL;DR本文介绍了一种新方法，即多视图融合变压器（MVFT），通过编码时间视图、频繁视图和统计视图来生成多视图特征，并提出一种新的注意机制以揭示细节关系建模。实验表明，该方法比几种最先进的方法更优异。
sensor-based human activity recognitionmachine learningdeep learningmulti-modal sensorsmulti-view fusion transformer
发现论文，激发创造
  • 使用参数优化的多阶段图卷积网络和 Transformer 模型进行人类活动识别的特征融合

    使用深度学习模型（如卷积神经网络和 Transformer）进行人类活动识别，研究表明特征融合对于改善活动识别系统的准确性和稳健性具有重要意义。使用 HuGaDB、PKU-MMD、LARa 和 TUG 数据集，PO-MS-GCN 和 Transformer 模型在准确性上进行了训练和评估，PO-MS-GCN 模型在效果上优于其他先进模型，并且特征融合在不同数据集上改善了结果。

    Jun, 2024

  • 用于多模态人类活动识别的蒸馏中融合 Transformer 网络

    本文提出了一种基于知识蒸馏的多模态中融合方法，即 DMFT，以在多模态人类活动识别任务中进行信息特征提取和融合，解决深度学习方法无法充分探索跨多模态信息融合的问题，并通过评估表明该方法在有效性，可扩展性和鲁棒性方面均取得了有竞争力的表现。

    May, 2023

  • 统一对比融合变压器用于多模态人类动作识别

    提出了一种新的多模态融合架构 UCFFormer，它能够整合具有不同分布的数据以增强人类动作识别 (HAR) 的性能；通过使用统一 Transformer 来捕捉嵌入特征在时间和模态领域之间的相互依赖关系，并引入了分解的时间 - 模态注意力来高效执行自注意力，在各种模态之间减少特征分布上的差异，从而生成在语义上对齐的特征进行信息融合；在 UTD-MHAD 和 NTU RGB+D 两个流行数据集上进行的性能评估表明，UCFFormer 通过显著的优势超越竞争方法，实现了最先进的性能。

    Sep, 2023

  • 基于对比学习的单传感器活动识别的虚拟融合

    利用虚拟融合方法利用多传感器的未标记数据进行训练，在推理时仅需要一个传感器，提高了人体活动识别准确性，甚至超过实际融合。该方法在 UCI-HAR 和 PAMAP2 基准数据集上取得了最先进的准确度和 F1 值。

    Dec, 2023

  • MuJo：人体活动识别的多模态联合特征空间学习

    通过多模态对比预训练方法 MuJo，利用视频、语言、姿势和 IMU 传感器数据，改善了不同模态下的人类活动识别性能，在 MM-Fit 数据集上达到了令人印象深刻的宏平均 F1-Score 为 0.992 和 0.999 的分类效果，同时展示了最高达 0.638 的泛化性能。

    Jun, 2024

  • 使用动态视觉传感器重新审视人类活动识别

    本文提出了一个大规模的基准数据集 HARDVS 来填补基于事件相机的人类活动识别领域的数据空缺，同时还提出了一个名为 ESTF 的新的空间 - 时间特征学习和融合框架，结合了 STEMNET 和 Transformer 矩阵计算。结果表明，ESTF 能够有效地学习和推断人类活动。

    Nov, 2022

  • 超出独立帧：通过帧内和帧间注意力增强基于传感器的人体活动识别

    人体活动识别（HAR）越来越受到普适计算的欢迎，受可穿戴传感器在医疗保健和运动等领域的流行推动。本文提出了一种内部和外部帧关注模型，用于解决 ConvNets 通常采用逐帧分析的问题，可能忽视人类活动中固有的更广泛的时间动态。我们进一步通过提出一种新颖的时间序列批量学习策略丰富了时间理解。这种学习策略在每个批处理中保留时间序列数据的时间顺序，确保传感器基础 HAR 中时间模式的连续性和完整性。

    May, 2024

  • 轻量级变形金刚在移动设备上的人体活动识别

    本文介绍了人体活动识别用于移动设备的轻量模型 HART，通过 IMUs 数据并使用 Transformer architecture 实现，相比于传统模型在减少资源消耗的同时具有更好的识别效果。

    Sep, 2022

  • 基于视觉与惯性传感器数据的新型二流决策级融合技术，用于自动多模态人类活动识别系统

    本文提出了一种新颖的多模态人体活动识别系统，并使用了两种流的决策级融合来融合视觉和惯性传感器的信息，通过此方法准确率远高于现有的最先进方法。

    Jun, 2023

  • FedOpenHAR：传感器基于的人体活动识别的联邦多任务迁移学习

    该研究论文探讨了在多任务环境下的联邦迁移学习，用于基于传感器的人体活动识别和设备位置识别任务，并通过使用 OpenHAR 框架和 DeepConvLSTM 结构在联邦学习环境中进行了多个实验，结果显示相比个别客户端训练和完全集中化方法，利用迁移学习和训练的任务特定及个性化的联邦模型可以获得类似的准确性并且更高的准确性。

    Nov, 2023