MMAug, 2022

人体动作识别的渐进式跨模态知识蒸馏

PDF
TL;DR本研究提出了一种新颖的渐进式骨架到传感器知识蒸馏模型 (PSKD)，利用智能手表的时间序列数据，解决佩戴式传感器人类动作识别问题。通过构建多个教师模型和学生模型，设计了一种自适应置信度语义 (ACS) 损失函数。实验结果表明，PSKD 方法在 Berkeley-MHAD、UTD-MHAD 和 MMAct 数据集上具有与之前的单传感器 HAR 方法相比的竞争性能。
wearable sensorshuman action recognitionmulti-modal datasmartwatchtime-series data
发现论文，激发创造
  • 面向传感器 - 视觉动作识别的语义感知自适应知识蒸馏

    本文提出了一种名为 SAKDN 的新型框架，利用多个可穿戴传感器的知识在视觉传感器中增强动作识别，通过将可穿戴传感器的一维时间序列信号经过转换后进行多模态知识蒸馏和自适应融合，利用图形引导抑制映射损失，提高动作识别的效果。实验结果证实了本文 SAKDN 框架的有效性。

    Sep, 2020

  • 多模态可佩戴传感器人体动作识别调查

    结合增加的预期寿命和下降的出生率导致人口老龄化问题，可穿戴传感器技术的人体活动识别成为一种有着巨大潜力的辅助技术来支持老年人的日常生活，近期的研究聚焦于深度学习方法或单一传感器模态，为了给机器带来类似的智能，多模态机器学习成为研究者们热衷的领域之一，本研究从新颖的视角对多模态学习在可穿戴传感器技术的人体活动识别领域的应用进行全面调查，包括探索最近的传感器模态和深度学习方法，研究目前的多模态系统的技术，以及解决现有问题的多模态学习方法，同时连接其他领域的多模态文献与当前的可穿戴传感器技术的人体活动识别领域，最后识别出当前领域的挑战和潜在研究方向以进一步提升该技术的性能。

    Apr, 2024

  • 可穿戴活动识别的单模态和多模态传感器融合

    综合不同的感知模态与多个位置有助于形成对人类行为等复杂情况的统一感知和理解，因此，人类活动识别受益于综合冗余和互补信息（单模态 / 多模态）。然而，这并不是一项容易的任务，它需要多学科的方法，包括传感器技术、信号处理、数据融合算法和领域特定知识。本博士研究使用惯性、压力（音频和大气压力）和纺织电容感应等感知模型进行人类活动识别。所探索的场景包括手势和手部位置跟踪、面部和头部模式识别以及身体姿势和手势识别。所选择的可穿戴设备和感知模型完全集成了基于机器学习的算法，其中一些实现在嵌入式设备上，并在实时环境中进行了测试。

    Apr, 2024

  • 使用可穿戴数据的自监督表示进行人类活动识别

    本研究基于一个大规模无标签数据集上学习的自监督表征及浅层多层感知器模型，在未参与训练的真实世界数据集上取得了良好性能，并可通过不同传感器的数据训练，从而实现了设备无关型人体活动识别模型，将有助于增加 HAR 领域中模型评估的标准化。

    Apr, 2023

  • 多模态数据中的人类动作识别：一篇综述

    本文综述了基于不同数据形式的深度学习方法在人类动作识别方面的应用以及涉及 co-learning 和融合等技术，并对多个基础数据集进行了实验比较研究与探讨未来研究方向。

    Dec, 2020

  • 基于骨架姿势序列的传感器数据增强技术提升人体活动识别

    为了改进基于可穿戴传感器的人体活动识别，本文提出了一种从 3D 骨架姿势序列中直接生成传感器数据的姿势到传感器网络模型，并同时训练姿势到传感器网络和人体活动分类器，通过优化数据重构和活动识别来改进性能。实验结果表明该框架优于基线方法，并在 MM-Fit 数据集上取得了显著的性能提升。

    Apr, 2024

  • MuJo：人体活动识别的多模态联合特征空间学习

    通过多模态对比预训练方法 MuJo，利用视频、语言、姿势和 IMU 传感器数据，改善了不同模态下的人类活动识别性能，在 MM-Fit 数据集上达到了令人印象深刻的宏平均 F1-Score 为 0.992 和 0.999 的分类效果，同时展示了最高达 0.638 的泛化性能。

    Jun, 2024

  • 人体活动识别中的迁移学习综述

    基于传感器的人体活动识别是一个活跃的研究领域，本文调查了应用于智能家居和可穿戴设备的活动识别的迁移学习方法，总结了现有工作并提出了未来研究方向。

    Jan, 2024

  • 视觉语言与骨骼的融合：逐步蒸馏和跨模态知识用于 3D 动作表示学习

    基于骨骼的动作识别的训练方法之一是基于监督学习的独热分类，这需要大量的预定义动作类别注释；而基于自监督学习的方法涉及预处理任务中的骨架变换，可能会损害骨架结构。为了解决这些挑战，我们引入了一种新颖的基于骨骼的训练框架（C$^2$VL），基于跨模态对比学习，使用渐进蒸馏从视觉 - 语言知识提示中学习无关任务的人类骨架动作表征。

    May, 2024

  • 惯性测量单元基于跨模态迁移学习在人体活动识别中的调查

    人类行为 / 动作识别中，通过跨模态转移学习，介绍了人工智能模型、IMU 数据和多模态学习的重要性以及它们的应用潜力。

    Mar, 2024