Apr, 2024

OFMPNet: 城市环境中的占用和流量预测的深度端到端模型

PDF
TL;DR通过引入一种名为 OFMPNet 的深度编码器 - 解码器模型，利用占据图和场景的运动流来预测环境中所有动态对象的未来行为，并提出了一种新颖的时间加权运动流损失，进一步降低终点误差。该方法在 Waymo Occupancy and Flow Prediction 基准测试中取得了最先进的结果，Flow-Grounded Occupancy 的软 IoU 为 52.1％，AUC 为 76.75％。
发现论文，激发创造
  • 自动驾驶中的感知与预测的隐性空间流场

    自动驾驶车辆的感知和未来预测需要用一个神经网络隐式地表示一定时间内的占用情况和流动性，以及通过使用有效的全局注意机制来克服先前显式占用预测方法的有限接受域的问题。

    Aug, 2023

  • 基于光流蒸馏的自动驾驶端到端交互式预测和规划

    本文提出了一种基于深度学习技术的交互式神经运动规划器 (INMP)，通过过去的周边图像和高清地图，实时检测其他车辆并进行交互式的预测和规划，采用光流蒸馏模型来提高网络性能，实现自动驾驶任务的有效性和高效性。

    Apr, 2021

  • STrajNet：用于自动驾驶中占用流场预测的多模态分层 Transformer

    本文提出了一种新颖的多模态分层 transformer 网络，通过融合被向量化的（流动代理）和视觉场景（流场、地图和占用）模式，以及交通代理之间的社会交互和占用和流之间的关系，来共同预测场景的流和占用，证明了该方法在 Waymo 开放运动数据集上的有效性。

    Jul, 2022

  • 自动驾驶中的运动预测占据流场

    提出了 Occupancy Flow Fields，这是一种新的用于自动驾驶的运动预测表示方法。该方法使用深度学习架构生成 Occupancy Flow Fields，并引入了一个新的流跟踪损失来建立占用和流动预测之间的一致性，其可在占用预测、运动估计和代理重构等三个指标上证明其有效性。新方法成功地缓解了现有的两种常用运动预测表示方法轨迹集和占用格之间的局限性。此外，该文章提出了一个新问题，即如何预测具有推测性的代理并在大规模自动驾驶数据集和公共 INTERACTION 数据集上展示了优于现有技术的结果。

    Mar, 2022

  • VectorFlow：结合图像和向量进行交通占用和流量预测

    本文提出了一种新的占据流场预测算法，该算法将图像编码器和向量编码器的特征进行融合以生成更准确的占据和流量预测，该算法在 Waymo Open Dataset Occupancy and Flow Prediction Challenge 中排名第三，在遮挡情况下具有最佳的占据和流量预测表现。

    Aug, 2022

  • 面向城市自主驾驶的动态占据栅格预测：一种基于深度学习的全自动标注方法

    本文提出了一种利用贝叶斯滤波技术的环境表示和深度卷积神经网络作为长期预测器相结合的方法，针对复杂的市区情景进行预测，通过像素平衡处理以及自动生成标签等方法实现了无监督学习用于多种道路用户的长期预测。

    May, 2017

  • AdaOcc：自适应前向视图变换与流模型用于 3D 占据与流预测

    通过采用自适应前视转换和流建模的双阶段框架，我们提出了一种创新的方法，以增强 3D 占用和流的预测能力。我们首先独立训练占用模型，然后使用连续帧集成进行流预测。我们的方法将回归与分类相结合，以解决不同场景中的尺度变化，并利用预测的流将当前体素特征扭曲到未来帧，由未来帧的真值引导。在 nuScenes 数据集上的实验结果表明，我们的方法在准确性和鲁棒性方面取得了显著的改进，展示了我们方法在真实环境下的有效性。基于 Swin-Base 的单一模型在公共排行榜上排名第二，验证了我们方法在推进自动驾驶车辆感知系统方面的潜力。

    Jul, 2024

  • HOPE：层次空间时间网络用于占用流预测

    本报告介绍我们针对 CVPR2022 中 Waymo Open 数据集挑战赛所提出的 Occupancy 和 Flow Prediction 问题的解决方案。我们使用新颖的层次空间 - 时间网络，其中包含空间 - 时间编码器、多尺度聚合器和一个递归的层次 3D 解码器，并使用多个损失函数进行训练。该方法在领先团队中排名第一，达到了 0.8389 的 Flow-Grounded Occupancy AUC。

    Jun, 2022

  • 利用深度学习的光流生成移动物体候选框进行视频物体分割

    本研究提出了一种先进的神经网络结构，通过训练无监督的卷积神经网络对光流进行估计，然后将光流网络的输出渲染到完全卷积 SegNet 模型中，从而准确高效地获取运动目标提案。

    Feb, 2024

  • 基于视觉光流蒸馏的自动驾驶端到端可解释运动规划学习

    该研究提出了一种基于端到端视觉的自主驾驶轨迹规划方法，使用生成的鸟瞰图中的未来语义地图进行路径规划，增强了自动驾驶的安全性和解释性。

    Apr, 2021