您是否被追踪？了解 LLMs 的零射线轨迹追踪能力！

Mar, 2024

您是否被追踪？了解 LLMs 的零射线轨迹追踪能力！

Are You Being Tracked? Discover the Power of Zero-Shot Trajectory Tracing with LLMs!

Huanqi Yang, Sijie Ji, Rucheng Wu, Weitao Xu

TL;DR本研究介绍了 LLMTrack 模型，展示了如何利用大型语言模型（LLMs）通过采用一种独特的单提示技术，结合角色扮演和逐步思考方法，处理未经处理的惯性测量单元（IMU）数据，实现零通道轨迹识别。通过对真实世界数据集进行评估，我们发现在室内和室外场景中，LLMTrack 不仅达到了传统机器学习方法以及当代深度学习模型所设定的性能基准，甚至超过了这些基准，而且无需在特定数据集上进行训练。我们的研究结果表明，在经过精心设计的提示的指导下，LLMs 可以利用其丰富的知识库，以极高的效率分析原始传感器数据。

Abstract

There is a burgeoning discussion around the capabilities of Large Language Models (LLMs) in acting as fundamental components that can be seamlessly incorporated into Artificial Intelligence of Things (aiot) to interpret complex trajectories. This study introduces →

large language models aiot zero-shot trajectory recognition inertial measurement unit llmtrack

发现论文，激发创造

语言模型作为零样本轨迹生成器

大型语言模型（LLMs）已经显示出在机器人方面作为高级规划器的潜力，但通常假设 LLMs 在低级轨迹规划方面不具备足够的知识。本文深入探讨了这个假设，研究了当 LLM（GPT-4）只有对象检测和分割视觉模型的访问权限时，是否可以直接预测操作技能的密集序列的末端执行器姿态。我们研究了一个单一的任务无关提示在 26 个真实世界的基于语言的任务上的表现，比如 “打开瓶盖” 和 “用海绵擦拭盘子”，并调查了这个提示中哪些设计选择是最有效的。我们的结论打破了 LLMs 在机器人领域的假设限制，首次揭示了 LLMs 确实具备在常见任务中理解低级机器人控制的能力，并且它们还可以检测到失败并相应地重新规划轨迹。

Oct, 2023

Traj-LLM：赋能轨迹预测的新探索

使用大型语言模型和创新的技术，本研究拟探索将 LLM 应用于交通场景中的动态车辆轨迹预测任务，以提高预测效果并适应不同情形。

May, 2024

基于大型语言模型的学习者表现建模

本文探讨了预训练大型语言模型（LLMs）的能力，以及它们在知识跟踪、智能辅导系统领域的应用，研究了两种使用 LLMs 进行知识跟踪的方法，并对其在实际数据集上的性能进行了评估，结果表明 LLMs 能够模拟复杂的学习轨迹，为将 LLMs 应用于教育环境开辟了新的途径。

Feb, 2024

LLM 潜力评估对飞行轨迹重建分析的探索性评估

大型语言模型在航空领域具有重塑飞行轨迹的潜力，该研究利用 LLaMA 2 模型探索了利用自动相关监视广播（ADS-B）数据重建飞行轨迹的可能性，并发现模型在过滤噪声和估计线性和曲线飞行轨迹方面的能力，但也揭示了处理较长数据序列的挑战，这可能归因于 LLM 模型的令牌长度限制。该研究的结果凸显了 LLM 在飞行轨迹重建方面的潜力，并为航空和交通领域的更广泛应用开辟了新途径。

Jan, 2024

大型语言模型用于空间轨迹模式挖掘

通过对领先的大语言模型如 GPT-4 和 Claude-2 在检测移动数据中的异常行为的能力进行实证研究，我们的研究发现大语言模型可以在没有特定线索的情况下达到合理的异常检测性能，并且在提供上下文线索的情况下可以进一步提高预测效果，同时能够提供合理的判断解释，从而增加透明度，为人类空间轨迹分析的研究提供了洞察。

Oct, 2023

iMotion-LLM: 运动预测指令调优

iMotion-LLM 是一种多模态大型语言模型，通过轨迹预测指导交互式多智能体场景。通过在 Waymo 开放数据集中增加文本运动指令，我们创建了 InstructWaymo。iMotion-LLM 可在提供的指令方向上生成轨迹，增强安全性，并为自主导航系统解释和预测多智能体环境的动态奠定了基础。

Jun, 2024

LG-Traj: LLM 指导的行人轨迹预测

通过引入 Large Language Models (LLMs)，本研究探究了使用 LLMs 改进行人轨迹预测任务的可能性，通过诱导运动线索生成物体过去 / 观察到的轨迹中的运动线索，并利用混合高斯聚类未来轨迹中的运动线索。我们的方法采用基于 Transformer 的体系结构，包括运动编码器以建模运动模式和社交解码器以捕捉行人之间的社交互动，展示了我们的方法在流行的行人轨迹预测基准数据集 ETH-UCY 和 SDD 上的有效性，并进行了多个消融实验来验证我们的方法。

Mar, 2024

HARGPT：是零样本人类活动识别器吗？

我们的研究通过案例研究，在零样本方式下，通过演示大型语言模型（LLMs）能够理解原始 IMU 数据并以经过适当提示的方式进行人类活动识别任务，以回答 LLMs 是否适用于与网络系统无缝集成的物理世界解释问题。通过在 GPT4 上使用两个不同类别相似性的公共数据集对 HARGPT 进行基准测试，并与基于传统机器学习和最先进的深度分类模型的各种基线进行比较，结果表明 LLMs 能够成功地从原始 IMU 数据中识别人类活动，并在两个数据集上持续优于所有基线。我们的发现表明，通过有效提示，LLMs 可以基于其知识库解释物理世界的原始传感器数据，具有有效分析原始传感器数据的潜力。

Mar, 2024

利用 LLMs 进行对话质量测量

该论文探讨了使用大型语言模型（LLMs）进行自动对话质量评估的方法，并在公共和专有数据集上尝试了各种配置。结果表明，更大的模型产生了更准确的对话标签；算法选择背景上下文示例优于随机选择；在输出最终标签之前，使用 “思维链”（CoT）推理和标签提取过程进行合理化，可以提高性能；精细调整的 LLMs 优于开箱即用的模型。研究结果表明，合适地调整和具有足够推理能力的 LLMs 可以用于自动对话评估。

Jun, 2024

作为零样本人类模型的大型语言模型用于人机交互

本文探索了使用大型语言模型作为 HRI 的 0 模型的潜力，并在三个社交数据集上进行了实验，结果显示 LLMs 能够实现与定制模型相当的性能，同时还讨论了当前的限制。基于我们的发现，我们展示了 LLM 人类模型如何集成到社交机器人的规划过程中并应用于 HRI 场景。我们的结果表明 LLMs 为 HRI 的人类建模提供了一种有前途但不完整的方法。

Mar, 2023