在人类活动识别领域，缺乏大型标记数据集是主要挑战之一。为了解决数据稀缺的问题，最近开始研究跨模态迁移方法，将现有数据集从源模态（如视频）转换为目标模态（IMU）。本研究通过大规模评估语言驱动的跨模态迁移，提出了两个针对实际人类活动识别应用场景的 IMUGPT 扩展，一个是能够滤除无关动作序列以确保生成虚拟 IMU 数据的相关性的动作过滤器，另一个是一套用于测量生成数据多样性的指标，帮助确定何时停止生成虚拟 IMU 数据以实现有效和高效的处理。我们证明了我们的多样性指标可以减少生成虚拟 IMU 数据所需的工作量至少 50％，从而使 IMUGPT 在纯概念证明之外具备实际应用的价值。

Feb, 2024

通过生成式人工智能从文本描述中自动生成虚拟 IMU 数据，人类活动识别（HAR）领域能够解决有限标注数据的问题。此外，还探讨了生成式人工智能在生成基准数据集、特定于 HAR 的模型开发、HAR 中的层次结构探索、复杂活动分解以及健康感知和活动总结等领域有着前景的研究方向。

Oct, 2023

由于 HAR 中标记传感器数据的稀缺性，先前的研究已经转向使用视频数据合成惯性测量单元（IMU）数据，利用其丰富的活动注释。然而，在真实环境中从视频生成 IMU 数据对 HAR 提出了挑战，归因于合成 IMU 数据的质量较差且在细微、细粒度动作方面的效果有限。本文提出了我们的新颖多模态、多任务和对比基于框架方法 Multi$^3$Net 来解决数据有限的问题。我们的预训练过程使用在线存储库的视频，旨在同时学习文本、姿势和 IMU 的联合表示。通过使用视频数据和对比学习，我们的方法旨在增强可穿戴 HAR 性能，特别是在识别细微活动方面。我们的实验结果验证了我们的方法在利用 IMU 数据改善 HAR 性能方面的有效性。我们证明，使用我们的方法从视频生成的合成 IMU 数据训练的模型在识别细粒度活动方面超越了现有方法。

Jun, 2024

为了改进基于可穿戴传感器的人体活动识别，本文提出了一种从 3D 骨架姿势序列中直接生成传感器数据的姿势到传感器网络模型，并同时训练姿势到传感器网络和人体活动分类器，通过优化数据重构和活动识别来改进性能。实验结果表明该框架优于基线方法，并在 MM-Fit 数据集上取得了显著的性能提升。

Apr, 2024

通过引入简单活动表达，结合 GAN 网络生成 6 通道 IMU 信号，提高分类器的精度。实验表明，在添加生成数据后，LSTM 分类器的 f1 - 得分最大增加幅度为 13.27％，从而证明了生成数据的有效性和 TheraGAN 作为解决数据不平衡问题的工具。

Feb, 2023

人类行为 / 动作识别中，通过跨模态转移学习，介绍了人工智能模型、IMU 数据和多模态学习的重要性以及它们的应用潜力。

Mar, 2024

利用可穿戴设备进行动作重建已成为一种经济且可行的技术，在稀疏的惯性测量单元（IMUs）数据上建立人体姿势模型存在着困扰，本文通过多传感器的空间重要性和文本描述的监督引入不确定性来获取每个 IMU 的加权特征，并设计了一种层次时间变换器（HTT）和对比学习来实现传感器数据与文本语义的精确时间和特征对齐。实验证明我们的方法在多个指标上相比现有方法有显著改进，尤其是在文本监督下，我们的方法不仅能区分诸如坐下和站起之类的模糊动作，还能产生更精确和自然的动作。

Dec, 2023

我们的研究通过案例研究，在零样本方式下，通过演示大型语言模型（LLMs）能够理解原始 IMU 数据并以经过适当提示的方式进行人类活动识别任务，以回答 LLMs 是否适用于与网络系统无缝集成的物理世界解释问题。通过在 GPT4 上使用两个不同类别相似性的公共数据集对 HARGPT 进行基准测试，并与基于传统机器学习和最先进的深度分类模型的各种基线进行比较，结果表明 LLMs 能够成功地从原始 IMU 数据中识别人类活动，并在两个数据集上持续优于所有基线。我们的发现表明，通过有效提示，LLMs 可以基于其知识库解释物理世界的原始传感器数据，具有有效分析原始传感器数据的潜力。

Mar, 2024

利用深度学习技术，使用文本描述生成大量的地面压力序列，通过离散潜在相关性获得由文本描述生成的高质量压力序列，并在实际压力传感器收集的压力动态上评估与仅使用真实数据训练的模型相当的 HAR 模型，将真实数据和合成的训练数据结合，使整体宏 F1 分数提高 5.9%。

Feb, 2024

基于惯性测量单元的人体活动识别模型存在用户间数据分布差异大的问题，本研究基于 IMU 数据特征提取了全局视角表示法，有效减轻了不同穿戴风格引起的数据分布差异，并通过多视角监督网络实现了局部视角和全局视角数据的有效融合，实验结果表明该方法在用户间活动识别中优于现有的方法。

Jun, 2024