ICCVSep, 2023

MotionLM: 多智能体运动预测作为语言建模

PDF
TL;DR可靠地预测道路行为是自动驾驶车辆安全规划的关键组成部分。本研究将连续轨迹表示为离散运动令牌序列，并将多智能体运动预测视为一个语言建模任务。我们的模型 MotionLM 具有多个优势：首先，它不需要锚点或明确的潜在变量优化来学习多模态分布；其次，我们利用标准的语言建模目标，通过最大化序列令牌的平均对数概率来实现；此外，该模型的顺序分解使得它能够进行时间因果条件推断。在 Waymo 开放动态数据集上，所提出的方法在多智能体运动预测方面取得了新的最先进性能，排名第一。
autonomous vehiclesmulti-agent motion predictionlanguage modelingtrajectory generationtemporally causal conditional rollouts
发现论文，激发创造
  • 大型语言模型驱动的上下文感知运动预测

    通过利用大型语言模型（LLMs）增强全局交通语境理解来提高动作预测任务的准确性，并考虑到 LLMs 的成本，我们提出了一种成本效益的部署策略：通过拥有 0.7% 的 LLM 增强数据集来扩大动作预测任务的准确性。

    Mar, 2024

  • iMotion-LLM: 运动预测指令调优

    iMotion-LLM 是一种多模态大型语言模型，通过轨迹预测指导交互式多智能体场景。通过在 Waymo 开放数据集中增加文本运动指令，我们创建了 InstructWaymo。iMotion-LLM 可在提供的指令方向上生成轨迹，增强安全性，并为自主导航系统解释和预测多智能体环境的动态奠定了基础。

    Jun, 2024

  • Traj-LLM：赋能轨迹预测的新探索

    使用大型语言模型和创新的技术，本研究拟探索将 LLM 应用于交通场景中的动态车辆轨迹预测任务，以提高预测效果并适应不同情形。

    May, 2024

  • 多元未来预测

    为了预测智能与健壮的复杂动态环境下未来的多个目标路径，该论文提出了基于概率的框架来学习表示语义多模态未来的潜在变量，其中利用动态基于注意力的状态编码器学习编码智能体之间的交互，可被用于车辆轨迹预测。

    Nov, 2019

  • MotionLLM: 多模式运动语言学习与大型语言模型

    通过使用预训练的 LLM 模型进行微调，本研究提出了 MotionLLM，一个简单且通用的框架，可实现单人和多人运动生成以及动作字幕生成。

    May, 2024

  • 隐式潜变量模型用于场景一致运动预测

    本研究针对自主车辆安全规划的需求，提出基于图神经网络的场景一致性运动预测模型，并取得在运动预测和交互理解方面的最新进展，证明其对实现更安全、更舒适的运动规划具有显著意义。

    Jul, 2020

  • LG-Traj: LLM 指导的行人轨迹预测

    通过引入 Large Language Models (LLMs)，本研究探究了使用 LLMs 改进行人轨迹预测任务的可能性，通过诱导运动线索生成物体过去 / 观察到的轨迹中的运动线索，并利用混合高斯聚类未来轨迹中的运动线索。我们的方法采用基于 Transformer 的体系结构，包括运动编码器以建模运动模式和社交解码器以捕捉行人之间的社交互动，展示了我们的方法在流行的行人轨迹预测基准数据集 ETH-UCY 和 SDD 上的有效性，并进行了多个消融实验来验证我们的方法。

    Mar, 2024

  • 基于机动 LSTM 的多模态环境车辆轨迹预测

    本文针对自动驾驶汽车在复杂交通情境下进行安全高效的行驶所需的需求，提出了使用 LSTM 模型来进行交互式的运动预测，并在 NGSIM US-101 和 I-80 数据集上与其他方法进行了比较和分析。

    May, 2018

  • 语言能否战胜数值回归？基于语言的多模态轨迹预测

    通过将轨迹预测任务转化为一种问答问题，本研究提出了基于语言和多模态的轨迹预测模型（LMTraj），该模型利用语言模型来理解和生成高水平知识，通过数值标记器和问答提示进行训练，证明了它在行人轨迹预测中的强大性能。

    Mar, 2024

  • MoST: 多模态场景编码用于动作预测

    通过将视觉世界划分为场景元素，并利用预训练的图像模型和 LiDAR 神经网络以开放词汇的方式编码所有场景元素，我们提出了一种能够高效编码多帧多模态观察的方法，并且在 Waymo Open Motion 数据集上的实验证明了我们的方法明显优于现有技术。

    Apr, 2024