Mar, 2024

将 ContextGPT 的知识融入神经符号活动识别模型

PDF
TL;DR基于深度学习模型，上下文感知的人类活动识别是移动计算领域的热点研究方向。然而，这些系统的实际部署受到标注数据稀缺的限制。基于神经符号人工智能领域的研究提出了使用常识知识来缓解此问题，在人类活动识别深度学习分类器中融入关于人类活动及其上下文的常识知识。本研究中，我们提出了 ContextGPT: 一种新的提示工程方法，用于从大型语言模型中检索关于人类活动与上下文关系的常识知识。与本体论不同，ContextGPT 所需的人力和专业知识较少。在两个公共数据集上进行的广泛评估表明，通过从 ContextGPT 中融入常识知识获得的 NeSy 模型，在数据稀缺场景中具有类似甚至更好的识别率，比基于逻辑的方法需要更少的工作量。
context-aware human activity recognitionneuro-symbolic aideep learning modelsknowledgedata scarcity
发现论文，激发创造
  • 上下文感知的神经符号方法用于人类活动识别

    本文提出一种基于语义损失函数的神经符号 AI 的方法，用于上下文感知的人体活动识别中，避免了符号推理模块，同时在建立的训练模型中注入了特定知识要求，能够在一些方面超越现有方法，如数据驱动模型，达到或者超过现有的系统识别率。

    Jun, 2023

  • HARGPT：是零样本人类活动识别器吗？

    我们的研究通过案例研究，在零样本方式下，通过演示大型语言模型（LLMs）能够理解原始 IMU 数据并以经过适当提示的方式进行人类活动识别任务，以回答 LLMs 是否适用于与网络系统无缝集成的物理世界解释问题。通过在 GPT4 上使用两个不同类别相似性的公共数据集对 HARGPT 进行基准测试，并与基于传统机器学习和最先进的深度分类模型的各种基线进行比较，结果表明 LLMs 能够成功地从原始 IMU 数据中识别人类活动，并在两个数据集上持续优于所有基线。我们的发现表明，通过有效提示，LLMs 可以基于其知识库解释物理世界的原始传感器数据，具有有效分析原始传感器数据的潜力。

    Mar, 2024

  • 大型语言模型记忆传感器数据集！对人类活动识别研究的影响

    调查证实了大型语言模型在人体活动识别中可能通过训练中接触到传感器数据，可能对实验评估结果产生重要影响。

    Jun, 2024

  • 关于生成式基础模型对人类活动识别的好处

    通过生成式人工智能从文本描述中自动生成虚拟 IMU 数据，人类活动识别（HAR）领域能够解决有限标注数据的问题。此外，还探讨了生成式人工智能在生成基准数据集、特定于 HAR 的模型开发、HAR 中的层次结构探索、复杂活动分解以及健康感知和活动总结等领域有着前景的研究方向。

    Oct, 2023

  • 基于自然语言的 LLMs 上下文建模与推理：教程

    利用大型语言模型，我们展示了利用文本、提示和自主代理让模型进行上下文建模和推理的计算范式，即基于大型语言模型驱动的上下文感知计算。

    Sep, 2023

  • Symbol-LLM：借助语言模型进行视觉人类活动推理的符号系统

    人的推理可以理解为直觉、联想的 “系统 1” 和理性、逻辑的 “系统 2” 之间的协作。对于现有的视觉活动理解中的 “系统 1” 类似方法，整合 “系统 2” 处理以提高解释性、泛化性和数据效率至关重要。人类活动推理的一种可能路径是构建一个由符号和规则组成的符号系统，其中一条规则连接多个符号，暗示人类的知识和推理能力。先前的方法在不断进步，但由于手工制作的符号数量有限和基于视觉的注释的规则有限，从而未能涵盖活动的复杂模式并缺乏组合泛化。为了克服这些缺陷，我们提出了一个新的符号系统，具有两个理想的重要特性：广覆盖的符号和合理的规则。通过手动注释来收集大量的人类知识以实例化这个符号系统是昂贵的。相反，我们利用最近 LLMs（大型语言模型）的进展作为这两个理想属性的近似，即来自大型语言模型的符号（Symbol-LLM）。然后，给定一张图像，从图像中提取并检查视觉内容作为符号，并通过模糊逻辑计算的规则推理出活动的语义。我们的方法在广泛的活动理解任务中显示了优越性。代码和数据可以在此 https URL 找到。

    Nov, 2023

  • 建模标签语义提升活动识别

    本论文提出了一个基于序列到序列的神经网络框架，以学习共享活动标签名称的语义，而不是将标签仅视为整数 ID，这有助于提高人类活动识别的性能。该方法将学习活动分解为学习共享标记，通过在七个基准人类活动识别数据集上的广泛实验表明其优于现有方法。

    Jan, 2023

  • 利用预训练语言模型简化自我追踪的自然语言交互

    提出了一种基于 NLP 和 GPT-3 的领域不可知的自然语言交互框架，可以从自述性的日志文本中提取信息，解决了自我追踪设计空间广阔且追踪主题和数据格式多样化的挑战。研究显示，该方法明显优于基线 QA 模型，为未来 NLP 与 HCI 领域的合作提供了前景。

    May, 2022

  • 增强人体运动预测的神经符号化方法

    本研究提出了一种新的神经符号方法（NeuroSyM）来推进人类动作预测领域，通过利用定性轨迹演算法（QTC）来在邻域中加权不同交互，并在中长期时间范围内使用两种最先进的架构进行实验测试。实验结果表明，在大多数情况下，NeuroSyM 方法在预测准确性方面优于基线架构。

    Apr, 2023

  • BertNet: 从预训练语言模型中提取知识图谱

    本文提出了一种基于预训练语言模型的自动化知识图谱构建框架，仅以关系的最小定义为输入，利用多样的新设计提示，可以在一个给定的语言模型内进行高效的知识搜索，从而收获更具竞争力、多样性和创新性的知识，生成了一系列但不仅限于 BertNet 和 RoBERTaNet 含有更多包括一些复杂关系的符号知识图谱，并进一步用于解释不同语言模型之间的知识能力差异。

    Jun, 2022