Jun, 2022

TENET: 用于有效时序流的 Transformer 编码网络，用于运动预测

PDF
TL;DR本报告提出了一种用于自主驾驶的有效的运动预测方法，采用基于 Transformer 的输入编码和轨迹预测，引入了 Temporal Flow Header 以增强轨迹编码，最后使用高效的 K-means 集成方法，在 Argoverse 2 Motion Forecasting Challenge 赢得了第一名，最小 brier-FDE 评分达到 1.90，表现优于现有技术。
autonomous drivingmotion predictiontransformer-based methodk-means ensembleargoverse 2 motion forecasting challenge
发现论文，激发创造
  • 基于 Transformer 的多模式神经网络用于自动驾驶的运动预测

    本文介绍了一种基于 Transformer 结构的神经预测框架来模拟车辆之间的社交关系和预测可能的轨迹，其中采用了多模态注意机制来解决运动预测的多模态问题，并在 Argoverse 运动预测数据集上得到了最佳预测精度。

    Sep, 2021

  • 多模态变压器下的上下文感知行人轨迹预测

    我们提出了一种新颖的解决方案，用于预测行人的未来轨迹。我们的方法使用多模态编码 - 解码变换器架构，以行人位置和自车速度作为输入。值得注意的是，我们的解码器一次性预测整个未来轨迹，而不进行一步预测，这使得该方法适用于嵌入式边缘部署。我们在两个流行数据集 PIE 和 JAAD 上进行了详细实验和评估，定量结果证明我们所提出的模型在 0.5、1.0 和 1.5 秒三个时间范围内始终具有最低误差，并且相对于现有最先进技术的速度更快。此外，消融实验证明了我们方法的关键多模态配置的影响。

    Jul, 2023

  • SEPT：面向运动预测的高效场景表示学习

    该研究呈现了 SEPT，一个利用自我监督学习来开发复杂交通场景的强大时空理解能力的建模框架，其通过三个遮蔽 - 重构建模任务对包括车辆轨迹和道路网络在内的场景输入进行预训练，然后在下游预测任务上微调，实验证明 SEPT 在 Argoverse 1 和 Argoverse 2 运动预测基准测试中无需繁琐的架构设计或手动特征工程，在所有主要指标上都显著优于以前的方法。

    Sep, 2023

  • 用于三维人体运动预测的时空转换器

    本文提出一种新颖的基于 Transformer 的架构，用于生成 3D 人体运动的模型。该模型能够学习高维度骨骼关节的嵌入，通过解耦的时间和空间自注意机制使得生成的姿态在时间上是连贯的。实验结果表明该模型能够准确地生成短期预测并在长期时间跨度内生成合理的运动序列。

    Apr, 2020

  • 基于 Transformer 的 2D 姿势和时空嵌入融合的分心驾驶操作识别

    该研究旨在通过将视频动作识别和 2D 人体姿势估计网络结合为一个模型，改善时间定位和分类准确性表现。最终，通过从不同的摄像头视角获取信息并消除误报，该模型在 2023 年 NVIDIA AI 城市挑战的自然驾驶行为识别中表现出色，实现了优化的区域覆盖得分 0.5079。

    Mar, 2024

  • Wayformer：基于简单高效注意力网络的运动预测

    本文提出了一种基于注意力机制的动作预测体系结构，并探讨了不同融合方法的有效性。结果表明，相比于其他模态融合方法，早期融合的模态无关架构在 Waymo Open MotionDataset (WOMD) 和 Argoverse 排行榜中都有着最优秀的表现。

    Jul, 2022

  • 基于交互式 Transformer 的端到端环境感知和预测

    本文提出利用新颖 Transformer 架构的 LSTM 循环神经网络去捕捉因交互而产生的时空相关性，来解决自动驾驶场景下的 3D 物体检测及其未来运动轨迹预测，经过实验证明，本方法的准确率及效率均优于同类算法。

    Aug, 2020

  • 基于卷积和 Transformer 的视频帧插帧网络

    本文提出一种创新的方法，将 Transformer 编码器和卷积特征相结合，从而减少了近 50% 的内存负担，在推理时间上比现有的基于 Transformer 的插值方法运行速度提高了近四倍，并引入双编码器架构来结合局部相关的卷积和远程相关的 Transformer。在复杂运动方面进行了定量评估，展示了所提出方法的鲁棒性，与最先进的插值网络相比，取得了竞争性能。

    Jul, 2023

  • 基于堆叠 Transformer 的多模态动作预测

    该论文提出了一种新的基于 transformer 的系统 ——mmTransformer，它使用独立提案集生成和选择提案，并使用基于区域的训练策略诱导所生成提案的多样性。实验表明，该模型在运动预测方面具有最先进的性能，大大提高了预测轨迹的多样性和准确性。

    Mar, 2021

  • 一种端到端的汽车轨迹预测框架

    本文提出了一种新颖的端到端架构，该架构接受原始视频输入并输出未来车辆运动轨迹预测，以解决自主驾驶中的邻近车辆运动预测问题。该架构通过多头注意力回归网络和非线性优化提取和跟踪附近车辆的三维位置，然后使用基于注意力的 LSTM 编码器 - 解码器算法对车辆之间的相互依赖关系建模，从而达到了高精度的未来车辆轨迹预测，实验结果表明，该算法优于目前各种先进模型。

    Apr, 2023