大型语言模型驱动的上下文感知运动预测
通过引入 Large Language Models (LLMs),本研究探究了使用 LLMs 改进行人轨迹预测任务的可能性,通过诱导运动线索生成物体过去 / 观察到的轨迹中的运动线索,并利用混合高斯聚类未来轨迹中的运动线索。我们的方法采用基于 Transformer 的体系结构,包括运动编码器以建模运动模式和社交解码器以捕捉行人之间的社交互动,展示了我们的方法在流行的行人轨迹预测基准数据集 ETH-UCY 和 SDD 上的有效性,并进行了多个消融实验来验证我们的方法。
Mar, 2024
iMotion-LLM 是一种多模态大型语言模型,通过轨迹预测指导交互式多智能体场景。通过在 Waymo 开放数据集中增加文本运动指令,我们创建了 InstructWaymo。iMotion-LLM 可在提供的指令方向上生成轨迹,增强安全性,并为自主导航系统解释和预测多智能体环境的动态奠定了基础。
Jun, 2024
TPLLM 是一种基于大型语言模型的交通预测框架,通过构建基于 CNN 的序列嵌入层和基于 GCN 的图嵌入层,提取序列特征和空间特征,并与 LLMs 集成,实现在有限历史交通数据地区的准确预测和良好的泛化能力。
Mar, 2024
为了在动态环境下保证安全驾驶,自动驾驶车辆应该具备准确预测周围车辆的变道意图并预测其未来轨迹的能力。本文通过提出了一种可解释的变道预测模型 LC-LLM,利用大型语言模型(LLM)的强大推理能力和自我解释能力来解决现有运动预测方法在长期预测精度和可解释性方面的不足。我们将变道预测任务重新定义为语言建模问题,将异构驾驶场景信息以自然语言形式作为 LLM 的输入,并采用监督微调技术,使 LLM 专门用于变道预测任务。这使得我们能够利用 LLM 强大的常识推理能力来理解复杂的交互信息,从而提高长期预测的准确性。此外,我们在推理阶段的提示中加入了解释要求。因此,我们的 LC-LLM 模型不仅可以预测变道意图和轨迹,还能提供预测解释,增强了可解释性。对大规模高维驱动数据集的广泛实验证明了我们的 LC-LLM 在变道预测任务中的卓越性能和可解释性。据我们所知,这是首次尝试利用 LLM 来预测变道行为。我们的研究表明,LLM 能够对驾驶行为进行综合交互信息编码。
Mar, 2024
提出了一种基于空间 - 时间大型语言模型(ST-LLM)的交通预测方法,通过重新定义位置上的时间步长作为标记,并结合空间 - 时间嵌入模块来学习标记的空间位置和全局时间表示,在提供统一的空间和时间信息的基础上,进一步提出了一种部分冻结的 LLM 关注策略,用于捕捉交通预测的空间 - 时间依赖关系。综合实验表明 ST-LLM 在真实交通数据集上优于最先进的模型,同时在少样本和零样本预测场景中也表现出鲁棒性。
Jan, 2024
本文介绍了利用大型语言模型(LLM)进行人类移动性预测的潜力。通过引入 LLM-Mob 方法,该研究提出了历史停留和上下文停留的概念,以捕捉人类移动性中的长期和短期依赖,并通过使用预测目标的时间信息实现时间感知预测。全面的评估结果表明,LLM-Mob 在提供准确可解释预测方面表现出色,突显了 LLM 在推进人类移动性预测技术上的未开发潜力。
Aug, 2023
可靠地预测道路行为是自动驾驶车辆安全规划的关键组成部分。本研究将连续轨迹表示为离散运动令牌序列,并将多智能体运动预测视为一个语言建模任务。我们的模型 MotionLM 具有多个优势:首先,它不需要锚点或明确的潜在变量优化来学习多模态分布;其次,我们利用标准的语言建模目标,通过最大化序列令牌的平均对数概率来实现;此外,该模型的顺序分解使得它能够进行时间因果条件推断。在 Waymo 开放动态数据集上,所提出的方法在多智能体运动预测方面取得了新的最先进性能,排名第一。
Sep, 2023