通过计算机视觉和惯性测量单元 (IMU) 等广泛应用的技术以及最近在临床和研究环境中日益流行，来评估人体的身体活动。然而，为了增加患者在实验室外的跟踪可行性，有必要减少运动采集设备。在这方面，IMU 设备和单一摄像头系统是有希望的解决方案。此外，还需要开发能够在野外环境中识别和处理临床相关数据的机器学习系统，因此确定这些系统的理想输入至关重要。

Feb, 2024

本文旨在将对比学习技术 SimCLR 应用于人类行为识别（HAR）中，通过 64 种不同信号转换来增强数据，发现在健康相关应用中，该技术可显著改善监督和无监督学习方法的性能。

Nov, 2020

本文比较了基于惯性测量单元 (IMU) 和基于视频的方法在军事按压和划船运动的人体运动分类中的表现，发现单个摄像头能比单个 IMU 提高 10 个百分点的分类准确率，而至少需要 3 个 IMU 才能超越单个摄像头。同时，使用基于多变量时间序列分类器进行原始数据处理的方法优于基于手工特征或自动提取特征的传统方法。最后，将单个摄像头和单个 IMU 的数据组合起来能超越任一数据模态，为使用智能手机摄像头和单一传感器进行有效的人体运动分类开辟了新的、更现实的途径。

Jul, 2023

利用可穿戴设备进行动作重建已成为一种经济且可行的技术，在稀疏的惯性测量单元（IMUs）数据上建立人体姿势模型存在着困扰，本文通过多传感器的空间重要性和文本描述的监督引入不确定性来获取每个 IMU 的加权特征，并设计了一种层次时间变换器（HTT）和对比学习来实现传感器数据与文本语义的精确时间和特征对齐。实验证明我们的方法在多个指标上相比现有方法有显著改进，尤其是在文本监督下，我们的方法不仅能区分诸如坐下和站起之类的模糊动作，还能产生更精确和自然的动作。

Dec, 2023

为了改进基于可穿戴传感器的人体活动识别，本文提出了一种从 3D 骨架姿势序列中直接生成传感器数据的姿势到传感器网络模型，并同时训练姿势到传感器网络和人体活动分类器，通过优化数据重构和活动识别来改进性能。实验结果表明该框架优于基线方法，并在 MM-Fit 数据集上取得了显著的性能提升。

Apr, 2024

由于 HAR 中标记传感器数据的稀缺性，先前的研究已经转向使用视频数据合成惯性测量单元（IMU）数据，利用其丰富的活动注释。然而，在真实环境中从视频生成 IMU 数据对 HAR 提出了挑战，归因于合成 IMU 数据的质量较差且在细微、细粒度动作方面的效果有限。本文提出了我们的新颖多模态、多任务和对比基于框架方法 Multi$^3$Net 来解决数据有限的问题。我们的预训练过程使用在线存储库的视频，旨在同时学习文本、姿势和 IMU 的联合表示。通过使用视频数据和对比学习，我们的方法旨在增强可穿戴 HAR 性能，特别是在识别细微活动方面。我们的实验结果验证了我们的方法在利用 IMU 数据改善 HAR 性能方面的有效性。我们证明，使用我们的方法从视频生成的合成 IMU 数据训练的模型在识别细粒度活动方面超越了现有方法。

Jun, 2024

人类行为 / 动作识别中，通过跨模态转移学习，介绍了人工智能模型、IMU 数据和多模态学习的重要性以及它们的应用潜力。

Mar, 2024

通过传感器融合和对比学习，通过生物阻抗技术改进基于惯性测量单元的健身追踪系统，提高了准确性和人体活动识别的能力。

Jan, 2024

本文提出一种在不需要在新的身体部位获取分类标签的情况下，通过利用现有的活动分类器在参考身体部位的惯性测量单元（IMU）数据的基础上进行活动分类的创新方法来执行新的身体部位上的活动分类。

Apr, 2023

IMU2CLIP 是一种新型的预训练方法，用于将惯性测量单元（IMU）运动传感器记录与视频和文本对齐，从而在对比度语言 - 图像预训练 (CLIP) 的联合表示空间中将其投影，该方法允许 IMU2CLIP 将人体动作转化为相应的文本描述和视频，并保持这些模态之间的传递性，用于多种应用，包括基于动作的媒体检索和自然语言推理任务以及活动识别等，并展示了 IMU2CLIP 在每种应用的定制预训练可大大提高下游性能，彰显了其作为预训练资源的通用用途。

Oct, 2022