LG-Traj: LLM 指导的行人轨迹预测

Mar, 2024

LG-Traj: LLM Guided Pedestrian Trajectory Prediction

Pranav Singh Chib, Pravendra Singh

TL;DR通过引入 Large Language Models (LLMs)，本研究探究了使用 LLMs 改进行人轨迹预测任务的可能性，通过诱导运动线索生成物体过去 / 观察到的轨迹中的运动线索，并利用混合高斯聚类未来轨迹中的运动线索。我们的方法采用基于 Transformer 的体系结构，包括运动编码器以建模运动模式和社交解码器以捕捉行人之间的社交互动，展示了我们的方法在流行的行人轨迹预测基准数据集 ETH-UCY 和 SDD 上的有效性，并进行了多个消融实验来验证我们的方法。

Abstract

Accurate pedestrian trajectory prediction is crucial for various applications, and it requires a deep understanding of pedestrian motion patterns in dynamic environments. However, existing pedestrian trajectory prediction methods still need more exploration to fully leverage these moti

pedestrian trajectory prediction large language models (llms)motion cues transformer-based architecture pedestrian motion patterns

发现论文，激发创造

大型语言模型驱动的上下文感知运动预测

通过利用大型语言模型（LLMs）增强全局交通语境理解来提高动作预测任务的准确性，并考虑到 LLMs 的成本，我们提出了一种成本效益的部署策略：通过拥有 0.7% 的 LLM 增强数据集来扩大动作预测任务的准确性。

Mar, 2024

Traj-LLM：赋能轨迹预测的新探索

使用大型语言模型和创新的技术，本研究拟探索将 LLM 应用于交通场景中的动态车辆轨迹预测任务，以提高预测效果并适应不同情形。

May, 2024

iMotion-LLM: 运动预测指令调优

iMotion-LLM 是一种多模态大型语言模型，通过轨迹预测指导交互式多智能体场景。通过在 Waymo 开放数据集中增加文本运动指令，我们创建了 InstructWaymo。iMotion-LLM 可在提供的指令方向上生成轨迹，增强安全性，并为自主导航系统解释和预测多智能体环境的动态奠定了基础。

Jun, 2024

大型语言模型用于空间轨迹模式挖掘

通过对领先的大语言模型如 GPT-4 和 Claude-2 在检测移动数据中的异常行为的能力进行实证研究，我们的研究发现大语言模型可以在没有特定线索的情况下达到合理的异常检测性能，并且在提供上下文线索的情况下可以进一步提高预测效果，同时能够提供合理的判断解释，从而增加透明度，为人类空间轨迹分析的研究提供了洞察。

Oct, 2023

基于预训练大型语言模型的交通预测框架：TPLLM

TPLLM 是一种基于大型语言模型的交通预测框架，通过构建基于 CNN 的序列嵌入层和基于 GCN 的图嵌入层，提取序列特征和空间特征，并与 LLMs 集成，实现在有限历史交通数据地区的准确预测和良好的泛化能力。

Mar, 2024

基于知识感知的图形转换器用于行人轨迹预测

该论文提出了一个图变换器结构来改进预测性能，捕捉数据集中不同场所和情景之间的差异，并设计了一种自注意机制和域适应模块来提高模型的泛化能力。此外，还引入了一种考虑跨数据集序列的额外指标用于训练和性能评估目的。使用 ETH 和 UCY 等流行的公共数据集验证和比较了所提出的框架，实验结果表明了我们提出的方案的改进性能。

Jan, 2024

LC-LLM: 大型语言模型的可解释性变道意图和轨迹预测

为了在动态环境下保证安全驾驶，自动驾驶车辆应该具备准确预测周围车辆的变道意图并预测其未来轨迹的能力。本文通过提出了一种可解释的变道预测模型 LC-LLM，利用大型语言模型（LLM）的强大推理能力和自我解释能力来解决现有运动预测方法在长期预测精度和可解释性方面的不足。我们将变道预测任务重新定义为语言建模问题，将异构驾驶场景信息以自然语言形式作为 LLM 的输入，并采用监督微调技术，使 LLM 专门用于变道预测任务。这使得我们能够利用 LLM 强大的常识推理能力来理解复杂的交互信息，从而提高长期预测的准确性。此外，我们在推理阶段的提示中加入了解释要求。因此，我们的 LC-LLM 模型不仅可以预测变道意图和轨迹，还能提供预测解释，增强了可解释性。对大规模高维驱动数据集的广泛实验证明了我们的 LC-LLM 在变道预测任务中的卓越性能和可解释性。据我们所知，这是首次尝试利用 LLM 来预测变道行为。我们的研究表明，LLM 能够对驾驶行为进行综合交互信息编码。

Mar, 2024

揭示人类迁移行为：利用大型语言模型推断轨迹的语义

通过大型语言模型（LLMs）推理轨迹语义的 Trajectory Semantic Inference with Large Language Models (TSI-LLM) 框架通过人类移动性模式的复杂分析，提高了轨迹数据的语义分析能力。

May, 2024

MotionLM: 多智能体运动预测作为语言建模

可靠地预测道路行为是自动驾驶车辆安全规划的关键组成部分。本研究将连续轨迹表示为离散运动令牌序列，并将多智能体运动预测视为一个语言建模任务。我们的模型 MotionLM 具有多个优势：首先，它不需要锚点或明确的潜在变量优化来学习多模态分布；其次，我们利用标准的语言建模目标，通过最大化序列令牌的平均对数概率来实现；此外，该模型的顺序分解使得它能够进行时间因果条件推断。在 Waymo 开放动态数据集上，所提出的方法在多智能体运动预测方面取得了新的最先进性能，排名第一。

Sep, 2023

大型语言模型作为人类移动预测器

本文介绍了利用大型语言模型（LLM）进行人类移动性预测的潜力。通过引入 LLM-Mob 方法，该研究提出了历史停留和上下文停留的概念，以捕捉人类移动性中的长期和短期依赖，并通过使用预测目标的时间信息实现时间感知预测。全面的评估结果表明，LLM-Mob 在提供准确可解释预测方面表现出色，突显了 LLM 在推进人类移动性预测技术上的未开发潜力。

Aug, 2023