Feb, 2024

IMUGPT 2.0：基于语言的传感器人体活动识别的跨模态转移

PDF
TL;DR在人类活动识别领域，缺乏大型标记数据集是主要挑战之一。为了解决数据稀缺的问题，最近开始研究跨模态迁移方法，将现有数据集从源模态（如视频）转换为目标模态（IMU）。本研究通过大规模评估语言驱动的跨模态迁移，提出了两个针对实际人类活动识别应用场景的 IMUGPT 扩展，一个是能够滤除无关动作序列以确保生成虚拟 IMU 数据的相关性的动作过滤器，另一个是一套用于测量生成数据多样性的指标，帮助确定何时停止生成虚拟 IMU 数据以实现有效和高效的处理。我们证明了我们的多样性指标可以减少生成虚拟 IMU 数据所需的工作量至少 50％，从而使 IMUGPT 在纯概念证明之外具备实际应用的价值。
发现论文，激发创造
  • 惯性测量单元基于跨模态迁移学习在人体活动识别中的调查

    人类行为 / 动作识别中，通过跨模态转移学习，介绍了人工智能模型、IMU 数据和多模态学习的重要性以及它们的应用潜力。

    Mar, 2024

  • 利用文本生成虚拟身体加速度计数据进行人体活动识别

    通过聊天 GPT 生成不同的文本描述活动的文字描述，通过运动合成模型 T2M-GPT 生成 3D 人体运动序列，然后转换成流的模拟 IMU 数据，将其与部分真实 IMU 数据结合训练 HAR 模型可以显著提高其性能

    May, 2023

  • HARGPT：是零样本人类活动识别器吗？

    我们的研究通过案例研究，在零样本方式下，通过演示大型语言模型（LLMs）能够理解原始 IMU 数据并以经过适当提示的方式进行人类活动识别任务，以回答 LLMs 是否适用于与网络系统无缝集成的物理世界解释问题。通过在 GPT4 上使用两个不同类别相似性的公共数据集对 HARGPT 进行基准测试，并与基于传统机器学习和最先进的深度分类模型的各种基线进行比较，结果表明 LLMs 能够成功地从原始 IMU 数据中识别人类活动，并在两个数据集上持续优于所有基线。我们的发现表明，通过有效提示，LLMs 可以基于其知识库解释物理世界的原始传感器数据，具有有效分析原始传感器数据的潜力。

    Mar, 2024

  • IMU2CLIP: 从自我视角视频和文本中学习 IMU 运动传感器的多模态对比学习

    IMU2CLIP 是一种新型的预训练方法，用于将惯性测量单元（IMU）运动传感器记录与视频和文本对齐，从而在对比度语言 - 图像预训练 (CLIP) 的联合表示空间中将其投影，该方法允许 IMU2CLIP 将人体动作转化为相应的文本描述和视频，并保持这些模态之间的传递性，用于多种应用，包括基于动作的媒体检索和自然语言推理任务以及活动识别等，并展示了 IMU2CLIP 在每种应用的定制预训练可大大提高下游性能，彰显了其作为预训练资源的通用用途。

    Oct, 2022

  • 通过语言、姿态和合成 IMU 的联合表示强化基于惯性手部人体动作识别

    由于 HAR 中标记传感器数据的稀缺性，先前的研究已经转向使用视频数据合成惯性测量单元（IMU）数据，利用其丰富的活动注释。然而，在真实环境中从视频生成 IMU 数据对 HAR 提出了挑战，归因于合成 IMU 数据的质量较差且在细微、细粒度动作方面的效果有限。本文提出了我们的新颖多模态、多任务和对比基于框架方法 Multi$^3$Net 来解决数据有限的问题。我们的预训练过程使用在线存储库的视频，旨在同时学习文本、姿势和 IMU 的联合表示。通过使用视频数据和对比学习，我们的方法旨在增强可穿戴 HAR 性能，特别是在识别细微活动方面。我们的实验结果验证了我们的方法在利用 IMU 数据改善 HAR 性能方面的有效性。我们证明，使用我们的方法从视频生成的合成 IMU 数据训练的模型在识别细粒度活动方面超越了现有方法。

    Jun, 2024

  • 跨域人体活动识别：少样本迁移学习

    通过利用公开标记的人体活动识别数据集进行转移学习，我们提出了一种经济有效的跨领域人体活动识别框架，以更好地处理具有非常有限标签信息的活动识别场景。

    Oct, 2023

  • 空间相关传感器问题：辅助文字语义的 3D 人体动作重建

    利用可穿戴设备进行动作重建已成为一种经济且可行的技术，在稀疏的惯性测量单元（IMUs）数据上建立人体姿势模型存在着困扰，本文通过多传感器的空间重要性和文本描述的监督引入不确定性来获取每个 IMU 的加权特征，并设计了一种层次时间变换器（HTT）和对比学习来实现传感器数据与文本语义的精确时间和特征对齐。实验证明我们的方法在多个指标上相比现有方法有显著改进，尤其是在文本监督下，我们的方法不仅能区分诸如坐下和站起之类的模糊动作，还能产生更精确和自然的动作。

    Dec, 2023

  • MuJo：人体活动识别的多模态联合特征空间学习

    通过多模态对比预训练方法 MuJo，利用视频、语言、姿势和 IMU 传感器数据，改善了不同模态下的人类活动识别性能，在 MM-Fit 数据集上达到了令人印象深刻的宏平均 F1-Score 为 0.992 和 0.999 的分类效果，同时展示了最高达 0.638 的泛化性能。

    Jun, 2024

  • 不需重训练的扩展冻结视觉 - 语言模型：朝着改进机器人感知能力迈进

    通过对齐不同类型嵌入空间的方法，本研究展示了使用多模态输入改善视觉语言模型在场景理解和任务表现方面的效果，从而为多模态环境中更加多功能和有能力的语言模型铺平了道路。

    Aug, 2023

  • 关于生成式基础模型对人类活动识别的好处

    通过生成式人工智能从文本描述中自动生成虚拟 IMU 数据，人类活动识别（HAR）领域能够解决有限标注数据的问题。此外，还探讨了生成式人工智能在生成基准数据集、特定于 HAR 的模型开发、HAR 中的层次结构探索、复杂活动分解以及健康感知和活动总结等领域有着前景的研究方向。

    Oct, 2023