Mar, 2022

自动驾驶中的运动预测占据流场

PDF
TL;DR提出了 Occupancy Flow Fields，这是一种新的用于自动驾驶的运动预测表示方法。该方法使用深度学习架构生成 Occupancy Flow Fields，并引入了一个新的流跟踪损失来建立占用和流动预测之间的一致性，其可在占用预测、运动估计和代理重构等三个指标上证明其有效性。新方法成功地缓解了现有的两种常用运动预测表示方法轨迹集和占用格之间的局限性。此外，该文章提出了一个新问题，即如何预测具有推测性的代理并在大规模自动驾驶数据集和公共 INTERACTION 数据集上展示了优于现有技术的结果。
occupancy flow fieldsmotion forecastingautonomous drivingdeep learningspeculative agents
发现论文，激发创造
  • VectorFlow：结合图像和向量进行交通占用和流量预测

    本文提出了一种新的占据流场预测算法，该算法将图像编码器和向量编码器的特征进行融合以生成更准确的占据和流量预测，该算法在 Waymo Open Dataset Occupancy and Flow Prediction Challenge 中排名第三，在遮挡情况下具有最佳的占据和流量预测表现。

    Aug, 2022

  • 自动驾驶中的感知与预测的隐性空间流场

    自动驾驶车辆的感知和未来预测需要用一个神经网络隐式地表示一定时间内的占用情况和流动性，以及通过使用有效的全局注意机制来克服先前显式占用预测方法的有限接受域的问题。

    Aug, 2023

  • STrajNet：用于自动驾驶中占用流场预测的多模态分层 Transformer

    本文提出了一种新颖的多模态分层 transformer 网络，通过融合被向量化的（流动代理）和视觉场景（流场、地图和占用）模式，以及交通代理之间的社会交互和占用和流之间的关系，来共同预测场景的流和占用，证明了该方法在 Waymo 开放运动数据集上的有效性。

    Jul, 2022

  • UnO: 无监督占用场景的感知和预测

    我们提出了一种使用自监督从 LiDAR 数据学习连续的 4D（时空）占据场的无监督世界模型，该模型可以轻松有效地迁移到下游任务，并在点云预测和 BEV 语义占据预测方面取得了最先进的性能，特别是在标注数据稀缺时。此外，在与先前的时空几何占据预测的最新技术进行比较时，我们的 4D 世界模型对于与自动驾驶相关的类别的对象的召回率要高得多。

    Jun, 2024

  • OFMPNet: 城市环境中的占用和流量预测的深度端到端模型

    通过引入一种名为 OFMPNet 的深度编码器 - 解码器模型，利用占据图和场景的运动流来预测环境中所有动态对象的未来行为，并提出了一种新颖的时间加权运动流损失，进一步降低终点误差。该方法在 Waymo Occupancy and Flow Prediction 基准测试中取得了最先进的结果，Flow-Grounded Occupancy 的软 IoU 为 52.1％，AUC 为 76.75％。

    Apr, 2024

  • FutureNet-LOF: 未来上下文编码的联合轨迹预测和车道占用场预测

    该研究论文主要涉及自主驾驶中的动作预测和未来情景编码，以及使用车道占用区域的新表示法来预测动作。所提出的方法在两个大规模运动预测基准测试上排名第一。

    Jun, 2024

  • AdaOcc：自适应前向视图变换与流模型用于 3D 占据与流预测

    通过采用自适应前视转换和流建模的双阶段框架，我们提出了一种创新的方法，以增强 3D 占用和流的预测能力。我们首先独立训练占用模型，然后使用连续帧集成进行流预测。我们的方法将回归与分类相结合，以解决不同场景中的尺度变化，并利用预测的流将当前体素特征扭曲到未来帧，由未来帧的真值引导。在 nuScenes 数据集上的实验结果表明，我们的方法在准确性和鲁棒性方面取得了显著的改进，展示了我们方法在真实环境下的有效性。基于 Swin-Base 的单一模型在公共排行榜上排名第二，验证了我们方法在推进自动驾驶车辆感知系统方面的潜力。

    Jul, 2024

  • OccFlowNet: 基于可微分渲染和占据流的自监督占据估计

    通过利用 2D 标签，我们提出了一种基于神经辐射场（NeRF）的新方法来估计体素占据，结合时间渲染和占据流，进一步推进了体素占据预测，并且在该领域中取得了最先进的性能。

    Feb, 2024

  • 利用先验信息和语义辅助占据栅格地图进行车辆运动预测

    通过将场景表示为动态占据栅格图（dynamic occupancy grid maps，DOGMs），将语义标签与占用的栅格单元关联并结合地图信息，我们提出了一个结合深度学习的时空和概率方法的新型框架来预测车辆行为，并通过与真实注释进行评估，在真实世界的 NuScenes 数据集上验证了我们的结果，表明我们的模型相对于传统的 OGM 预测方法，能够更准确地预测静态和动态车辆的行为，此外，我们进行了消融研究，并评估了语义标签和地图在架构中的作用。

    Aug, 2023

  • HOPE：层次空间时间网络用于占用流预测

    本报告介绍我们针对 CVPR2022 中 Waymo Open 数据集挑战赛所提出的 Occupancy 和 Flow Prediction 问题的解决方案。我们使用新颖的层次空间 - 时间网络，其中包含空间 - 时间编码器、多尺度聚合器和一个递归的层次 3D 解码器，并使用多个损失函数进行训练。该方法在领先团队中排名第一，达到了 0.8389 的 Flow-Grounded Occupancy AUC。

    Jun, 2022