WEAR：可穿戴设备和自我中心视角视频活动识别的多模态数据集

Apr, 2023

WEAR：可穿戴设备和自我中心视角视频活动识别的多模态数据集

WEAR: A Multimodal Dataset for Wearable and Egocentric Video Activity Recognition

Marius Bock, Michael Moeller, Kristof Van Laerhoven, Hilde Kuehne

TL;DR本文介绍了一个用于人类活动识别的多模态基准数据集 WEAR，其中包括了视觉和可穿戴设备的数据，有效地提高了各种算法的性能表现。此外，我们还展示了基于 Transformer 的视频动作检测模型在惯性和多模态人类活动识别方面的可行性，这是第一次使用此方法进行探索。

Abstract

Though research has shown the complementarity of camera- and inertial-based data, datasets which offer both modalities remain scarce. In this paper we introduce WEAR, a multimodal benchmark dataset for both vision- and wearable-based human activity recognition (HAR). The dataset compri

multimodal dataset human activity recognition vision transformers inertial data algorithm

发现论文，激发创造

多模态 Fisher 向量的自我中心活动识别

本文介绍了一个基于 Wearable 设备的多模态自我中心活动识别数据集，其中提出了一种从传感器数据中提取时空轨迹特征的新颖策略，并应用 Fisher Kernel 框架融合视频和时空增强的传感器特征，实验结果表明，精心设计的特征提取和融合算法可以提高信息丰富的视频数据的质量。

Jan, 2016

可穿戴活动识别的单模态和多模态传感器融合

综合不同的感知模态与多个位置有助于形成对人类行为等复杂情况的统一感知和理解，因此，人类活动识别受益于综合冗余和互补信息（单模态 / 多模态）。然而，这并不是一项容易的任务，它需要多学科的方法，包括传感器技术、信号处理、数据融合算法和领域特定知识。本博士研究使用惯性、压力（音频和大气压力）和纺织电容感应等感知模型进行人类活动识别。所探索的场景包括手势和手部位置跟踪、面部和头部模式识别以及身体姿势和手势识别。所选择的可穿戴设备和感知模型完全集成了基于机器学习的算法，其中一些实现在嵌入式设备上，并在实时环境中进行了测试。

Apr, 2024

利用不同深度学习架构进行穿戴设备和单摄像头视频的上肢活动识别比较研究

通过计算机视觉和惯性测量单元 (IMU) 等广泛应用的技术以及最近在临床和研究环境中日益流行，来评估人体的身体活动。然而，为了增加患者在实验室外的跟踪可行性，有必要减少运动采集设备。在这方面，IMU 设备和单一摄像头系统是有希望的解决方案。此外，还需要开发能够在野外环境中识别和处理临床相关数据的机器学习系统，因此确定这些系统的理想输入至关重要。

Feb, 2024

使用经济实惠设备记录日常活动的多模态视频和 IMU 动力学数据集

该研究致力于提供一种通过廉价视频和自定义传感器记录的数据集来实现人体姿态跟踪和运动重建的方法，以支持远程的日常生活活动识别和运动学分析等问题。通过对 54 名受试者进行研究，验证了该数据集具有良好的临床应用价值和相关的不扰动采集协议，并可以提供人体关节角度的全面图像。

Mar, 2023

基于可穿戴设备的弱监督多任务表示学习人类活动分析

我们提出了一种使用弱监督多输出连体网络的方法，该方法能够学习将数据映射到多个表示空间上，从而能够同时解决多个任务，并在许多情况下胜过单任务监督方法。

Aug, 2023

多模态可佩戴传感器人体动作识别调查

结合增加的预期寿命和下降的出生率导致人口老龄化问题，可穿戴传感器技术的人体活动识别成为一种有着巨大潜力的辅助技术来支持老年人的日常生活，近期的研究聚焦于深度学习方法或单一传感器模态，为了给机器带来类似的智能，多模态机器学习成为研究者们热衷的领域之一，本研究从新颖的视角对多模态学习在可穿戴传感器技术的人体活动识别领域的应用进行全面调查，包括探索最近的传感器模态和深度学习方法，研究目前的多模态系统的技术，以及解决现有问题的多模态学习方法，同时连接其他领域的多模态文献与当前的可穿戴传感器技术的人体活动识别领域，最后识别出当前领域的挑战和潜在研究方向以进一步提升该技术的性能。

Apr, 2024

可穿戴传感器与视频数据捕捉用于人体运动分类的研究

本文比较了基于惯性测量单元 (IMU) 和基于视频的方法在军事按压和划船运动的人体运动分类中的表现，发现单个摄像头能比单个 IMU 提高 10 个百分点的分类准确率，而至少需要 3 个 IMU 才能超越单个摄像头。同时，使用基于多变量时间序列分类器进行原始数据处理的方法优于基于手工特征或自动提取特征的传统方法。最后，将单个摄像头和单个 IMU 的数据组合起来能超越任一数据模态，为使用智能手机摄像头和单一传感器进行有效的人体运动分类开辟了新的、更现实的途径。

Jul, 2023

通过语言、姿态和合成 IMU 的联合表示强化基于惯性手部人体动作识别

由于 HAR 中标记传感器数据的稀缺性，先前的研究已经转向使用视频数据合成惯性测量单元（IMU）数据，利用其丰富的活动注释。然而，在真实环境中从视频生成 IMU 数据对 HAR 提出了挑战，归因于合成 IMU 数据的质量较差且在细微、细粒度动作方面的效果有限。本文提出了我们的新颖多模态、多任务和对比基于框架方法 Multi$^3$Net 来解决数据有限的问题。我们的预训练过程使用在线存储库的视频，旨在同时学习文本、姿势和 IMU 的联合表示。通过使用视频数据和对比学习，我们的方法旨在增强可穿戴 HAR 性能，特别是在识别细微活动方面。我们的实验结果验证了我们的方法在利用 IMU 数据改善 HAR 性能方面的有效性。我们证明，使用我们的方法从视频生成的合成 IMU 数据训练的模型在识别细粒度活动方面超越了现有方法。

Jun, 2024

惯性测量单元基于跨模态迁移学习在人体活动识别中的调查

人类行为 / 动作识别中，通过跨模态转移学习，介绍了人工智能模型、IMU 数据和多模态学习的重要性以及它们的应用潜力。

Mar, 2024

提升家庭环境安全与福祉的综合多模态数据集

本研究提供了一个合成的多模态数据集，通过融合来自 3D 虚拟空间模拟器的视频数据与描绘活动时空上下文的知识图谱，该数据集旨在用于社会问题的知识图谱推理挑战（KGRC4SI），重点是识别和解决家庭环境中的危险情况，该数据集对于研究人员和从业者开发创新解决方案，以识别人类行为以提升安全和福祉而言，可作为宝贵的资源对公众开放。

Jan, 2024