Jul, 2023

可穿戴传感器与视频数据捕捉用于人体运动分类的研究

PDF
TL;DR本文比较了基于惯性测量单元 (IMU) 和基于视频的方法在军事按压和划船运动的人体运动分类中的表现，发现单个摄像头能比单个 IMU 提高 10 个百分点的分类准确率，而至少需要 3 个 IMU 才能超越单个摄像头。同时，使用基于多变量时间序列分类器进行原始数据处理的方法优于基于手工特征或自动提取特征的传统方法。最后，将单个摄像头和单个 IMU 的数据组合起来能超越任一数据模态，为使用智能手机摄像头和单一传感器进行有效的人体运动分类开辟了新的、更现实的途径。
wearable sensorsinertial measurement unitsvideo-based approachexercise classificationmultivariate time series classifiers
发现论文，激发创造
  • 利用不同深度学习架构进行穿戴设备和单摄像头视频的上肢活动识别比较研究

    通过计算机视觉和惯性测量单元 (IMU) 等广泛应用的技术以及最近在临床和研究环境中日益流行，来评估人体的身体活动。然而，为了增加患者在实验室外的跟踪可行性，有必要减少运动采集设备。在这方面，IMU 设备和单一摄像头系统是有希望的解决方案。此外，还需要开发能够在野外环境中识别和处理临床相关数据的机器学习系统，因此确定这些系统的理想输入至关重要。

    Feb, 2024

  • 融合未校准惯性测量单元和手持智能手机视频以重建膝关节运动学

    使用手持智能手机视频和未校准的可穿戴传感器数据的融合方法能够在保留其完整时间分辨率的同时，进一步减小髋关节行走期间的误差，并可追踪视觉遮挡期间的运动。

    May, 2024

  • 空间相关传感器问题：辅助文字语义的 3D 人体动作重建

    利用可穿戴设备进行动作重建已成为一种经济且可行的技术，在稀疏的惯性测量单元（IMUs）数据上建立人体姿势模型存在着困扰，本文通过多传感器的空间重要性和文本描述的监督引入不确定性来获取每个 IMU 的加权特征，并设计了一种层次时间变换器（HTT）和对比学习来实现传感器数据与文本语义的精确时间和特征对齐。实验证明我们的方法在多个指标上相比现有方法有显著改进，尤其是在文本监督下，我们的方法不仅能区分诸如坐下和站起之类的模糊动作，还能产生更精确和自然的动作。

    Dec, 2023

  • 通过自视角摄像头和加速度传感器数据实现人类自主活动分类

    本研究提出了一种基于惯性测量单元数据和自我视角摄像头提取的活动分类方法，通过胶囊网络和卷积长短时记忆框架提取特征和捕获行为的时间因素，并且使用基于遗传算法的方法自动系统地设置各种网络参数。实验证明，这种方法的综合准确度明显提高，可以更准确地对活动进行分类。

    May, 2019

  • 卷积神经网络实现人类活动识别

    本文提出了使用卷积神经网络 (CNNs) 对人类活动进行分类的方法，该方法利用惯性传感器测量身体的加速度和角速度，并使用不同的神经网络结构适应运动信号，探究单个、双个和三个传感器系统的分类潜力，实验结果表明该方法具有很好的分类性能。

    Jun, 2019

  • IMUPoser：利用手机、手表和耳机中的 IMU 实现全身姿势估计

    本文研究了利用现有的智能手机，智能手表和耳塞等设备中的 IMU 来估算人体姿态的可行性，并通过对于 10 个参与者的 IMU 数据集进行评估证明了该方法的有效性。

    Apr, 2023

  • 使用经济实惠设备记录日常活动的多模态视频和 IMU 动力学数据集

    该研究致力于提供一种通过廉价视频和自定义传感器记录的数据集来实现人体姿态跟踪和运动重建的方法，以支持远程的日常生活活动识别和运动学分析等问题。通过对 54 名受试者进行研究，验证了该数据集具有良好的临床应用价值和相关的不扰动采集协议，并可以提供人体关节角度的全面图像。

    Mar, 2023

  • 基于稀疏 IMU 传感的高效准确人体姿势估计的设计空间探索

    人体姿态估计 (HPE) 是评估体育、康复或工作安全中的人体运动所需的具有良好隐私保护的准确感知，因此在此类系统中需要进行局部处理，可以通过惯性测量单元 (IMU) 来解决能源有限的问题。我们通过模拟设计空间勘探 (DSE) 探讨了准确性和硬件资源有效利用之间的核心平衡问题，通过不同传感器配置生成 IMU 数据并用该数据训练深度学习模型，并提出了一个综合指标来评估准确性和资源之间的平衡问题。我们通过 DSE 工具来评估传感器配置，并为特定用例确定有益的配置。作为例子，对于准确性和资源同等重要的系统，我们确定了一个有利的传感器配置，使用 4 个传感器可以将网格误差减小 6.03 cm，准确性提高 32.7%，并减少两个传感器的硬件开销，相比现有技术水平。我们的工作可用于设计具有适当传感器位置、数据隐私保护和资源感知能力的健康应用。

    Jul, 2023

  • 运动 ID：人类身份验证方法

    介绍了一种称为 Motion ID 的用户认证新方法，该方法利用惯性测量单元 (IMUs) 提供的运动感应来验证个人身份。通过数据预处理和机器学习，该方法展示了高精度的用户认证，可与现有方法结合使用，也有望作为一种独立的解决方案。

    Jan, 2023

  • 基于自定义 IMU 的可穿戴系统，用于 2.4 GHz 无线人体部位定向跟踪和 3D 动作在虚拟人物中的可视化

    通过建立定制的廉价解决方案，实现对多个身体部位方向的同时跟踪，并提供硬件、工具和数学操作的详细自下而上描述以实时估计和表示 3D 运动；引入包含频道跳转策略的定制 2.4 GHz 通信协议，以解决入门级商业解决方案的通信限制问题；该系统可用于无线实时人体部位方向的跟踪，最多可使用 10 个自定义传感器，并以至少 50 Hz 的速度进行；此外，它在蓝牙和 Wi-Fi 频道拥挤的环境中提供了更可靠的运动数据采集，而入门级商业解决方案可能是不可行的；该系统可以为开发不需要精确运动分析的经济实惠的人体运动分析解决方案提供基础。

    Feb, 2024