Jul, 2022

STrajNet：用于自动驾驶中占用流场预测的多模态分层 Transformer

PDF
TL;DR本文提出了一种新颖的多模态分层 transformer 网络，通过融合被向量化的（流动代理）和视觉场景（流场、地图和占用）模式，以及交通代理之间的社会交互和占用和流之间的关系，来共同预测场景的流和占用，证明了该方法在 Waymo 开放运动数据集上的有效性。
autonomous vehiclesoccupancy flow field predictionmulti-modal hierarchical transformer networktraffic agentsflow-guided multi-head self-attention
发现论文，激发创造
  • VectorFlow：结合图像和向量进行交通占用和流量预测

    本文提出了一种新的占据流场预测算法，该算法将图像编码器和向量编码器的特征进行融合以生成更准确的占据和流量预测，该算法在 Waymo Open Dataset Occupancy and Flow Prediction Challenge 中排名第三，在遮挡情况下具有最佳的占据和流量预测表现。

    Aug, 2022

  • 自动驾驶中的运动预测占据流场

    提出了 Occupancy Flow Fields，这是一种新的用于自动驾驶的运动预测表示方法。该方法使用深度学习架构生成 Occupancy Flow Fields，并引入了一个新的流跟踪损失来建立占用和流动预测之间的一致性，其可在占用预测、运动估计和代理重构等三个指标上证明其有效性。新方法成功地缓解了现有的两种常用运动预测表示方法轨迹集和占用格之间的局限性。此外，该文章提出了一个新问题，即如何预测具有推测性的代理并在大规模自动驾驶数据集和公共 INTERACTION 数据集上展示了优于现有技术的结果。

    Mar, 2022

  • 基于 Transformer 的多模式神经网络用于自动驾驶的运动预测

    本文介绍了一种基于 Transformer 结构的神经预测框架来模拟车辆之间的社交关系和预测可能的轨迹，其中采用了多模态注意机制来解决运动预测的多模态问题，并在 Argoverse 运动预测数据集上得到了最佳预测精度。

    Sep, 2021

  • 自动驾驶中的感知与预测的隐性空间流场

    自动驾驶车辆的感知和未来预测需要用一个神经网络隐式地表示一定时间内的占用情况和流动性，以及通过使用有效的全局注意机制来克服先前显式占用预测方法的有限接受域的问题。

    Aug, 2023

  • HOPE：层次空间时间网络用于占用流预测

    本报告介绍我们针对 CVPR2022 中 Waymo Open 数据集挑战赛所提出的 Occupancy 和 Flow Prediction 问题的解决方案。我们使用新颖的层次空间 - 时间网络，其中包含空间 - 时间编码器、多尺度聚合器和一个递归的层次 3D 解码器，并使用多个损失函数进行训练。该方法在领先团队中排名第一，达到了 0.8389 的 Flow-Grounded Occupancy AUC。

    Jun, 2022

  • OFMPNet: 城市环境中的占用和流量预测的深度端到端模型

    通过引入一种名为 OFMPNet 的深度编码器 - 解码器模型，利用占据图和场景的运动流来预测环境中所有动态对象的未来行为，并提出了一种新颖的时间加权运动流损失，进一步降低终点误差。该方法在 Waymo Occupancy and Flow Prediction 基准测试中取得了最先进的结果，Flow-Grounded Occupancy 的软 IoU 为 52.1％，AUC 为 76.75％。

    Apr, 2024

  • AdaOcc：自适应前向视图变换与流模型用于 3D 占据与流预测

    通过采用自适应前视转换和流建模的双阶段框架，我们提出了一种创新的方法，以增强 3D 占用和流的预测能力。我们首先独立训练占用模型，然后使用连续帧集成进行流预测。我们的方法将回归与分类相结合，以解决不同场景中的尺度变化，并利用预测的流将当前体素特征扭曲到未来帧，由未来帧的真值引导。在 nuScenes 数据集上的实验结果表明，我们的方法在准确性和鲁棒性方面取得了显著的改进，展示了我们方法在真实环境下的有效性。基于 Swin-Base 的单一模型在公共排行榜上排名第二，验证了我们方法在推进自动驾驶车辆感知系统方面的潜力。

    Jul, 2024

  • ViewFormer：基于视图引导的 Transformer 模型探索多视角 3D 占位感知的时空建模

    基于 3D 占据率、多视图特征聚合和动态场景的研究，我们提出了 ViewFormer，一个基于 Transformer 的视觉中心框架，具有高度的可扩展性和优越性能。

    May, 2024

  • 交通流预测的交通枢纽感知时空自适应图变换器

    提出了一个用于交通流量预测的增量学习方法，通过设计一种空间自注意模块和时间自注意模块，同时利用空间 - 时间图转换器捕捉交通流量数据中的空间和时间依赖关系，并通过空间 - 时间知识蒸馏模块进行增量学习。

    Oct, 2023

  • 自动驾驶车辆的多模态轨迹预测：基于语义地图与动态图注意力网络

    本文研究自动驾驶汽车预测未来路障轨迹的问题，提出了一种基于动态图注意力网络的方法，针对交通规则、社交互动、多类交通运动等方面的挑战，能够使用单一模型对多模态轨迹进行概率预测，并经过多个数据集的验证，证明该方法具有实际应用潜力且优于现有技术。

    Mar, 2021