ICCVMar, 2021

AgentFormer: 面向多智能体时空预测的智能体感知 Transformer

PDF
TL;DR论文提出了一个新的 Transformer 模型 AgentFormer，该模型可以联合模拟时间和社交两个维度，用于预测多智能体行为，同时考虑了多智能体的影响以及不确定性。该模型具有良好的性能，并在公共数据集上取得了 state-of-the-art 的结果。
multi-agent trajectoriestime dimensionsocial dimensionagentformerstochastic multi-agent trajectory prediction
发现论文，激发创造
  • SocialFormer：边增强异构图变换器用于轨迹预测的社交交互建模

    本文介绍了一种考虑交通参与者之间复杂互动的准确轨迹预测方法，该方法利用道路拓扑和语义关系，采用了边增强的异构图转换器作为聚合器，通过图神经网络对语义和空间交互信息进行编码，同时引入了基于门控循环单元的时间编码器来模拟交通参与者的时间社会行为，最后通过信息融合框架综合表示交通场景，该方法在流行的 nuScenes 基准测试上取得了最先进的性能。

    May, 2024

  • 基于 Transformer 的多模式神经网络用于自动驾驶的运动预测

    本文介绍了一种基于 Transformer 结构的神经预测框架来模拟车辆之间的社交关系和预测可能的轨迹，其中采用了多模态注意机制来解决运动预测的多模态问题，并在 Argoverse 运动预测数据集上得到了最佳预测精度。

    Sep, 2021

  • 自主系统的空间和社会情境感知基于 Transformer 的轨迹预测

    提出了一种基于转换器的轨迹预测模型，通过社交张量将目标代理的位移特征丰富化，考虑和周围代理的社交互动信息，以实现对周围代理的反应预测。

    Jun, 2024

  • Scene Transformer: 预测多个 Agent 轨迹的统一体结构

    本篇研究旨在提出一种基于遮罩策略和注意力机制的场景中多智能体行为预测模型，以解决自动驾驶中的动态环境下多种智能体之间相互作用问题，结果表明该模型在多种运动预测任务上表现出优越性和普适性。

    Jun, 2021

  • 多智能体张量融合用于上下文轨迹预测

    自动驾驶中准确预测其他车辆 / 行人的运动轨迹非常重要，本文提出了一种基于多智能体张量融合网络的模型，可以模拟代理人之间的交互和约束以及环境场景等因素，从而实现对未来运动轨迹的精准预测，并在高速公路和行人数据集上表现出最先进的预测精度。

    Apr, 2019

  • MacFormer：地图 - 代理耦合变压器用于实时和稳健的轨迹预测

    利用地图约束的实时和鲁棒的轨迹预测方法，通过两个为地图和参考提取器设计的模块显式地将地图约束纳入网络中，并通过新的多任务优化策略来提高拓扑和规则约束的学习。通过在上下文融合中采用双边查询方案来实现更高效和轻量级的网络。实验证明，我们的方法在现实世界的基准测试中取得了最先进的性能，具有最低的推理延迟和最小的模型尺寸，并且对不完美的轨迹输入具有韧性。此外，我们还展示了通过与我们提出的策略相结合，经典模型优于其基准模型，进一步验证了我们的框架的多功能性。

    Aug, 2023

  • ASFormer：用于动作分割的 Transformer

    本文提出了一种名为 ASFormer 的高效 Transformer 模型，通过加入局部连接归纳先验、应用预定的分层表示模式和精心设计的解码器来解决应用 Transformer 模型于动作分割任务时遇到的问题，并在三个公共数据集上进行了广泛实验。

    Oct, 2021

  • 基于注意力的社交图变换网络用于随机轨迹预测

    提出了一种关注社交图转换网络的多模态轨迹预测方法，它结合了图卷积网络和 Transformer 网络，并通过生成稳定分辨率的伪图像来处理空时图，还设计了关注社交交互信息的模块。实验证明该模型在多个度量指标上最大限度地降低了位移误差，并显著减少碰撞的可能性，同时具备长时间预测的能力。

    Dec, 2023

  • 潜变量序列集合变压器用于联合多智能体运动预测

    提出了基于自动机器人（AutoBots）的潜变量序列集变压器模型，具有单代理预测和多代理预测的能力，在全局 nuScenes 车辆运行预测领域取得了最佳成果，使用了学习可并处理的时间和社会 MHSA 模块的编码器，并结合可学习的种子参数，使用临时和社会 MHSA 模块的解码器能够高效地对整个未来场景进行推断。

    Feb, 2021

  • VT-Former：一种基于 Transformer 的智能高速公路交通系统车辆轨迹预测方法

    在现代网络物理系统和智能交通系统中，提高道路安全和交通管理已成为一个重要的关注领域。通过引入一种新的基于 transformer 的方法 —VT-Former，并结合 Graph Attentive Tokenization (GAT) 模块，我们提出了一种精确的车辆轨迹预测方法。在三个基准数据集上的研究表明，VT-Former 在车辆轨迹预测方面具有最先进的性能，并且具有普适性和鲁棒性。我们还评估了 VT-Former 在嵌入式板上的效率，并探讨了其作为样本应用的车辆异常检测潜力，展示了其广泛的适用性。

    Nov, 2023