Mar, 2024

HARGPT：是零样本人类活动识别器吗？

PDF
TL;DR我们的研究通过案例研究，在零样本方式下，通过演示大型语言模型（LLMs）能够理解原始 IMU 数据并以经过适当提示的方式进行人类活动识别任务，以回答 LLMs 是否适用于与网络系统无缝集成的物理世界解释问题。通过在 GPT4 上使用两个不同类别相似性的公共数据集对 HARGPT 进行基准测试，并与基于传统机器学习和最先进的深度分类模型的各种基线进行比较，结果表明 LLMs 能够成功地从原始 IMU 数据中识别人类活动，并在两个数据集上持续优于所有基线。我们的发现表明，通过有效提示，LLMs 可以基于其知识库解释物理世界的原始传感器数据，具有有效分析原始传感器数据的潜力。
large language modelscyber-physical systemshuman activity recognitionzero-shot mannerimu data
发现论文，激发创造
  • 大型语言模型记忆传感器数据集！对人类活动识别研究的影响

    调查证实了大型语言模型在人体活动识别中可能通过训练中接触到传感器数据，可能对实验评估结果产生重要影响。

    Jun, 2024

  • 作为零样本人类模型的大型语言模型用于人机交互

    本文探索了使用大型语言模型作为 HRI 的 0 模型的潜力，并在三个社交数据集上进行了实验，结果显示 LLMs 能够实现与定制模型相当的性能，同时还讨论了当前的限制。基于我们的发现，我们展示了 LLM 人类模型如何集成到社交机器人的规划过程中并应用于 HRI 场景。我们的结果表明 LLMs 为 HRI 的人类建模提供了一种有前途但不完整的方法。

    Mar, 2023

  • 将 ContextGPT 的知识融入神经符号活动识别模型

    基于深度学习模型，上下文感知的人类活动识别是移动计算领域的热点研究方向。然而，这些系统的实际部署受到标注数据稀缺的限制。基于神经符号人工智能领域的研究提出了使用常识知识来缓解此问题，在人类活动识别深度学习分类器中融入关于人类活动及其上下文的常识知识。本研究中，我们提出了 ContextGPT: 一种新的提示工程方法，用于从大型语言模型中检索关于人类活动与上下文关系的常识知识。与本体论不同，ContextGPT 所需的人力和专业知识较少。在两个公共数据集上进行的广泛评估表明，通过从 ContextGPT 中融入常识知识获得的 NeSy 模型，在数据稀缺场景中具有类似甚至更好的识别率，比基于逻辑的方法需要更少的工作量。

    Mar, 2024

  • IMUGPT 2.0：基于语言的传感器人体活动识别的跨模态转移

    在人类活动识别领域，缺乏大型标记数据集是主要挑战之一。为了解决数据稀缺的问题，最近开始研究跨模态迁移方法，将现有数据集从源模态（如视频）转换为目标模态（IMU）。本研究通过大规模评估语言驱动的跨模态迁移，提出了两个针对实际人类活动识别应用场景的 IMUGPT 扩展，一个是能够滤除无关动作序列以确保生成虚拟 IMU 数据的相关性的动作过滤器，另一个是一套用于测量生成数据多样性的指标，帮助确定何时停止生成虚拟 IMU 数据以实现有效和高效的处理。我们证明了我们的多样性指标可以减少生成虚拟 IMU 数据所需的工作量至少 50％，从而使 IMUGPT 在纯概念证明之外具备实际应用的价值。

    Feb, 2024

  • 关于生成式基础模型对人类活动识别的好处

    通过生成式人工智能从文本描述中自动生成虚拟 IMU 数据，人类活动识别（HAR）领域能够解决有限标注数据的问题。此外，还探讨了生成式人工智能在生成基准数据集、特定于 HAR 的模型开发、HAR 中的层次结构探索、复杂活动分解以及健康感知和活动总结等领域有着前景的研究方向。

    Oct, 2023

  • 您是否被追踪？了解 LLMs 的零射线轨迹追踪能力！

    本研究介绍了 LLMTrack 模型，展示了如何利用大型语言模型（LLMs）通过采用一种独特的单提示技术，结合角色扮演和逐步思考方法，处理未经处理的惯性测量单元（IMU）数据，实现零通道轨迹识别。通过对真实世界数据集进行评估，我们发现在室内和室外场景中，LLMTrack 不仅达到了传统机器学习方法以及当代深度学习模型所设定的性能基准，甚至超过了这些基准，而且无需在特定数据集上进行训练。我们的研究结果表明，在经过精心设计的提示的指导下，LLMs 可以利用其丰富的知识库，以极高的效率分析原始传感器数据。

    Mar, 2024

  • 利用文本生成虚拟身体加速度计数据进行人体活动识别

    通过聊天 GPT 生成不同的文本描述活动的文字描述，通过运动合成模型 T2M-GPT 生成 3D 人体运动序列，然后转换成流的模拟 IMU 数据，将其与部分真实 IMU 数据结合训练 HAR 模型可以显著提高其性能

    May, 2023

  • 语言模型作为零样本轨迹生成器

    大型语言模型（LLMs）已经显示出在机器人方面作为高级规划器的潜力，但通常假设 LLMs 在低级轨迹规划方面不具备足够的知识。本文深入探讨了这个假设，研究了当 LLM（GPT-4）只有对象检测和分割视觉模型的访问权限时，是否可以直接预测操作技能的密集序列的末端执行器姿态。我们研究了一个单一的任务无关提示在 26 个真实世界的基于语言的任务上的表现，比如 “打开瓶盖” 和 “用海绵擦拭盘子”，并调查了这个提示中哪些设计选择是最有效的。我们的结论打破了 LLMs 在机器人领域的假设限制，首次揭示了 LLMs 确实具备在常见任务中理解低级机器人控制的能力，并且它们还可以检测到失败并相应地重新规划轨迹。

    Oct, 2023

  • 大型语言模型是否与人类的社会直觉对人机交互保持一致？

    本研究探索了大型语言模型在人机交互领域的表现，对比实际参与者的答案，结果显示 GPT-4 在选择适当的沟通行为和评判行为可取性、意图和令人惊讶程度等方面表现较好，但在判断人机行为差异方面成绩不佳，同时指出视觉模型无法完全抓住视频刺激的本质，且大型语言模型对不同沟通行为的评分和行为可取性分数较高。

    Mar, 2024

  • 通过人机协作增强基于 LLM 的机器人操控

    通过人机协作的方式，本文提出了一种增强基于大型语言模型的自主操作的方法，并应用于机器人的高级语言指令解析、运动规划和理解环境。在与人类的互动过程中，通过结合远程操作和动态运动原理实现机器人从人类引导中学习。通过实验表明，在复杂轨迹规划和环境推理方面，基于大型语言模型的机器人通过融入人类示范可以高效地完成任务。

    Jun, 2024