Sep, 2022

具有全局意图定位和局部运动细化的运动变换器

PDF
TL;DR本文提出了一个 Motion TRansformer (MTR) 框架，将运动预测看作全局意向定位和局部运动细化的联合优化问题，通过可学习的少量运动查询对来引入空间意向先验，实现了更好的多模态预测。实验表明，该方法在多个运动预测挑战上均达到了最先进的水平，并在 Waymo 开放式运动数据集的排行榜上排名第一。
multimodal future behaviortraffic participantsmotion transformer frameworkglobal intention localizationtrajectory prediction
发现论文，激发创造
  • MTR++：基于对称场景建模和引导意图查询的多智能体运动预测

    本文提出了 Motion TRansformer (MTR) 框架进行自动驾驶中的动态预测，该框架使用可学习的意图查询来提高效率和准确性，适应多种行动方式的需求，同时扩展到多个代理的多模态预测，实现了对高度竞争的运动预测基准的最新表现和有效性的提升。

    Jun, 2023

  • 基于堆叠 Transformer 的多模态动作预测

    该论文提出了一种新的基于 transformer 的系统 ——mmTransformer，它使用独立提案集生成和选择提案，并使用基于区域的训练策略诱导所生成提案的多样性。实验表明，该模型在运动预测方面具有最先进的性能，大大提高了预测轨迹的多样性和准确性。

    Mar, 2021

  • MGTR：利用 LiDAR 进行运动预测的多粒度变压器

    该研究论文介绍了一种多粒度转换器（MGTR）框架，它是一个编码器 - 解码器网络，利用不同粒度的上下文特征来处理不同类型的交通代理。通过整合来自现成的 LiDAR 特征提取器的 LiDAR 语义特征，进一步增强 MGTR 的功能。在 Waymo Open 数据集的运动预测基准测试中评估 MGTR，并展示了该方法在排行榜上取得了领先的性能，排名第一。

    Dec, 2023

  • MTR-A: 2022 Waymo 开放数据集挑战赛运动预测类第一名解决方案

    本文介绍了使用 Motion Transformer 进行多模态运动预测的 1st Place 解决方案，并采用意图定位和迭代运动细化的策略来生成更好的未来轨迹。采用简单的模型集成策略对数据进行非极大值抑制，最终在 2022 Waymo Open Dataset Challenges 中获得了第一名，超越了其他方法。

    Sep, 2022

  • 基于 Transformer 的多模式神经网络用于自动驾驶的运动预测

    本文介绍了一种基于 Transformer 结构的神经预测框架来模拟车辆之间的社交关系和预测可能的轨迹，其中采用了多模态注意机制来解决运动预测的多模态问题，并在 Argoverse 运动预测数据集上得到了最佳预测精度。

    Sep, 2021

  • 走向可信的多模式运动预测：评估和可解释性

    该研究旨在提升基于实现值得信赖的人工智能设计需求的可靠性运动预测系统。其分析了当前评估基准的主要缺陷，提出了一个新的全面评估框架，并制定了用于模拟感知系统中的噪声的空间和时间鲁棒性评估方法。同时，提出了附加在多模态运动预测模型上的意图预测层，以提升输出的可解释性和生成更平衡的结果。最后，通过调查探讨了多模态轨迹和意图可视化中的不同元素来评估输出的可解释性。

    Oct, 2022

  • 多范围变压器的多人三维动作预测

    我们提出了一种适用于多人 3D 运动轨迹预测的新型框架，使用包含局部范围编码器和全局范围编码器的 Multi-Range Transformers 模型，可以实现不同人之间的社交互动，且在长期运动预测方面优于现有方法，甚至可以自动将人分成不同的互动组以预测 15 人的运动轨迹。

    Nov, 2021

  • 无监督骨骼动作学习的全局 - 局部运动转换器

    本论文提出了一种新的 transformer 模型，旨在实现对骨架运动序列的无监督学习。该模型结合了全局和局部注意机制，通过新的预训练策略，成功地学习了局部和全局的内容，并在测试中显示出了优异的性能。

    Jul, 2022

  • 全球跟踪变压器

    本论文提出了一种新型基于 Transformer 的架构，用于全局多目标跟踪，通过对各帧图像上的物体特征进行编码，通过路径查询将其分组成轨迹，与目标检测器联合训练，可以实现对任意对象的跟踪，并在 MOT17 基准测试中实现了 75.3 的 MOTA 和 59.1 的 HOTA，超越了基于成对联想的基线，并在 TAO 数据集上得到显著的 7.7 跟踪 mAP 的提高。

    Mar, 2022

  • 多模态融合 Transformer 用于端到端自动驾驶

    本文提出使用多模态融合转换器 TransFuser 对图像和 LiDAR 传感器的信息进行整合以实现先进的自动驾驶技术，在 CARLA 城市驾驶模拟器中实验验证证明该方法在处理复杂场景时比传统基于几何的融合方法有更好的效果，并且在减少碰撞方面表现出色。

    Apr, 2021