我们的研究通过案例研究，在零样本方式下，通过演示大型语言模型（LLMs）能够理解原始 IMU 数据并以经过适当提示的方式进行人类活动识别任务，以回答 LLMs 是否适用于与网络系统无缝集成的物理世界解释问题。通过在 GPT4 上使用两个不同类别相似性的公共数据集对 HARGPT 进行基准测试，并与基于传统机器学习和最先进的深度分类模型的各种基线进行比较，结果表明 LLMs 能够成功地从原始 IMU 数据中识别人类活动，并在两个数据集上持续优于所有基线。我们的发现表明，通过有效提示，LLMs 可以基于其知识库解释物理世界的原始传感器数据，具有有效分析原始传感器数据的潜力。

Mar, 2024

该研究探讨了大规模语言模型在多模态健康预测中的应用，通过上下文信息和生理数据进行综合评估，并展示了 fine-tuned 模型在健康预测任务中的表现和对上下文增强策略的有效性。

Jan, 2024

通过生成式人工智能从文本描述中自动生成虚拟 IMU 数据，人类活动识别（HAR）领域能够解决有限标注数据的问题。此外，还探讨了生成式人工智能在生成基准数据集、特定于 HAR 的模型开发、HAR 中的层次结构探索、复杂活动分解以及健康感知和活动总结等领域有着前景的研究方向。

Oct, 2023

传统的基于人机协同的时间序列数据标注方法常常需要访问环境中的其他模态，例如视频或音频，以便为人类标注员提供必要的信息，因为原始数字数据常常对专家来说过于模糊。然而，这种传统方法在成本、效率、存储额外模态、时间、可扩展性和隐私等方面存在诸多问题。通过近期的大型语言模型（LLMs）的训练，这些模型还可以理解并在自然语言处理之外的任务上表现出色，这为将 LLMs 作为虚拟标注员进行探索开辟了潜在途径，其中 LLMs 将直接为标注提供原始传感器数据，而无需依赖任何其他模态。这自然地可以缓解传统的人机协同方法所面临的问题。受这一观察的启发，我们在本文中进行了一项详细研究，以评估最先进的 LLMs 是否可用作对时间序列物理感知数据进行标注的虚拟标注员。为了以系统的方式进行，我们将研究分为两个主要阶段。在第一阶段中，我们研究了 LLM（如 GPT-4）在理解原始传感器数据方面所面临的挑战。考虑到第一阶段的观察结果，在接下来的阶段中，我们研究了使用最先进的 SSL 方法对原始传感器数据进行编码的可能性，并利用映射后的时间序列数据从 LLM 获取标注。使用四个基准 HAR 数据集进行详细评估表明，基于 SSL 的编码和度量指导能够使 LLM 做出更合理的决策，并提供准确的标注，而无需进行计算昂贵的微调或复杂的提示工程。

Mar, 2024

使用大型语言模型（LLMs）综合多传感器数据生成临床有用的洞察力，首次展示使用 LLMs 进行二元抑郁症分类的准确性超过了现有技术，而且还强调了人工智能与医生领域专业知识和患者背景相结合的人工智能协同方法在临床决策支持方面的价值。

Nov, 2023

该研究展示大型语言模型能够通过只有少量的微调，在医疗和健康领域中处理不易表达为文本的各种生理和行为时间序列数据，并对心脏信号分析、身体活动识别、代谢计算和压力报告估计等健康任务进行有意义的推理。

May, 2023

本文探索了使用大型语言模型作为 HRI 的 0 模型的潜力，并在三个社交数据集上进行了实验，结果显示 LLMs 能够实现与定制模型相当的性能，同时还讨论了当前的限制。基于我们的发现，我们展示了 LLM 人类模型如何集成到社交机器人的规划过程中并应用于 HRI 场景。我们的结果表明 LLMs 为 HRI 的人类建模提供了一种有前途但不完整的方法。

Mar, 2023

基于深度学习模型，上下文感知的人类活动识别是移动计算领域的热点研究方向。然而，这些系统的实际部署受到标注数据稀缺的限制。基于神经符号人工智能领域的研究提出了使用常识知识来缓解此问题，在人类活动识别深度学习分类器中融入关于人类活动及其上下文的常识知识。本研究中，我们提出了 ContextGPT: 一种新的提示工程方法，用于从大型语言模型中检索关于人类活动与上下文关系的常识知识。与本体论不同，ContextGPT 所需的人力和专业知识较少。在两个公共数据集上进行的广泛评估表明，通过从 ContextGPT 中融入常识知识获得的 NeSy 模型，在数据稀缺场景中具有类似甚至更好的识别率，比基于逻辑的方法需要更少的工作量。

Mar, 2024

本文介绍了一种能够应用于人类活动识别领域的深度长短期神经网络模型，该模型使用集成学习方法来提升分类准确度，并在三个标准测试数据集上表现出了出色的识别能力，具有很好的实际应用价值。

Mar, 2017

本研究基于一个大规模无标签数据集上学习的自监督表征及浅层多层感知器模型，在未参与训练的真实世界数据集上取得了良好性能，并可通过不同传感器的数据训练，从而实现了设备无关型人体活动识别模型，将有助于增加 HAR 领域中模型评估的标准化。

Apr, 2023