Sep, 2021

基于 Transformer 的多模式神经网络用于自动驾驶的运动预测

PDF
TL;DR本文介绍了一种基于 Transformer 结构的神经预测框架来模拟车辆之间的社交关系和预测可能的轨迹，其中采用了多模态注意机制来解决运动预测的多模态问题，并在 Argoverse 运动预测数据集上得到了最佳预测精度。
autonomous drivingsocial interactionsprediction frameworktransformer structuremulti-modal attention
发现论文，激发创造
  • 自动驾驶车辆的多模态轨迹预测：基于语义地图与动态图注意力网络

    本文研究自动驾驶汽车预测未来路障轨迹的问题，提出了一种基于动态图注意力网络的方法，针对交通规则、社交互动、多类交通运动等方面的挑战，能够使用单一模型对多模态轨迹进行概率预测，并经过多个数据集的验证，证明该方法具有实际应用潜力且优于现有技术。

    Mar, 2021

  • 基于堆叠 Transformer 的多模态动作预测

    该论文提出了一种新的基于 transformer 的系统 ——mmTransformer，它使用独立提案集生成和选择提案，并使用基于区域的训练策略诱导所生成提案的多样性。实验表明，该模型在运动预测方面具有最先进的性能，大大提高了预测轨迹的多样性和准确性。

    Mar, 2021

  • 基于注意力的社交图变换网络用于随机轨迹预测

    提出了一种关注社交图转换网络的多模态轨迹预测方法，它结合了图卷积网络和 Transformer 网络，并通过生成稳定分辨率的伪图像来处理空时图，还设计了关注社交交互信息的模块。实验证明该模型在多个度量指标上最大限度地降低了位移误差，并显著减少碰撞的可能性，同时具备长时间预测的能力。

    Dec, 2023

  • 构建一致可解释的运动预测模型：基于异构图注意力的方法

    自动驾驶中，准确解读其他道路用户的移动并利用这一信息预测未来轨迹至关重要。本文提出了一个新的优化模块，将预测的轨迹重新映射到实际地图上，纠正了编码过程中可能丢失的位置信息，从而实现更一致的预测。同时，我们还提出了一种新颖的场景编码器，以单一的异构图注意力网络来处理所有代理与环境之间的关系，并通过分析图中不同边的注意力值，可以深入了解神经网络的内部工作，实现更加可解释的预测。

    May, 2024

  • Scene Transformer: 预测多个 Agent 轨迹的统一体结构

    本篇研究旨在提出一种基于遮罩策略和注意力机制的场景中多智能体行为预测模型，以解决自动驾驶中的动态环境下多种智能体之间相互作用问题，结果表明该模型在多种运动预测任务上表现出优越性和普适性。

    Jun, 2021

  • 基于交互式 Transformer 的端到端环境感知和预测

    本文提出利用新颖 Transformer 架构的 LSTM 循环神经网络去捕捉因交互而产生的时空相关性，来解决自动驾驶场景下的 3D 物体检测及其未来运动轨迹预测，经过实验证明，本方法的准确率及效率均优于同类算法。

    Aug, 2020

  • 自动驾驶车辆的多模态概率轨迹预测与车道关注

    本文提出一种基于实例感知的车道表示法和目标導向车道注意力模型，结合车道特征和车辆轨迹特征进行车辆位置预测，并在 NeurIPS 2019 的 Argoverse 运动预测竞赛中获得第三名，实验证明了模型的有效性。

    Jul, 2020

  • 探索注意力 GAN 用于车辆运动预测

    本研究使用自注意力模块来计算社交和物理上下文情境，采样白噪声，探索了生成模型中注意力的影响，并在 Argoverse 运动预测基准 1.1 上取得了竞争力的单峰结果。

    Sep, 2022

  • 基于多头注意力和联合代理 - 地图表示的自动驾驶轨迹预测

    利用多头注意力机制生成多模态未来轨迹预测，以最佳地利用静态场景和环境的信息，实现自动驾驶车辆的精准导航，该模型在 nuScenes 预测基准测试中取得了最佳结果。

    May, 2020

  • 走向可信的多模式运动预测：评估和可解释性

    该研究旨在提升基于实现值得信赖的人工智能设计需求的可靠性运动预测系统。其分析了当前评估基准的主要缺陷，提出了一个新的全面评估框架，并制定了用于模拟感知系统中的噪声的空间和时间鲁棒性评估方法。同时，提出了附加在多模态运动预测模型上的意图预测层，以提升输出的可解释性和生成更平衡的结果。最后，通过调查探讨了多模态轨迹和意图可视化中的不同元素来评估输出的可解释性。

    Oct, 2022