Jun, 2022

HOPE：层次空间时间网络用于占用流预测

PDF
TL;DR本报告介绍我们针对 CVPR2022 中 Waymo Open 数据集挑战赛所提出的 Occupancy 和 Flow Prediction 问题的解决方案。我们使用新颖的层次空间 - 时间网络，其中包含空间 - 时间编码器、多尺度聚合器和一个递归的层次 3D 解码器，并使用多个损失函数进行训练。该方法在领先团队中排名第一，达到了 0.8389 的 Flow-Grounded Occupancy AUC。
occupancyflow predictionspatial-temporal networklatent variablesfocal loss
发现论文，激发创造
  • 基于时空学习的动态环境下未来占据栅格的预测

    我们提出了一种时空预测网络管道，它可以从环境和语义标签中获取过去的信息来生成未来的占用预测，并将其应用于复杂的 nuScenes 数据集中，相较于当前 SOTA，我们的方法可以预测长达 3 秒的占用情况，并不需要 HD-Maps 和明确模拟动态物体。

    May, 2022

  • STrajNet：用于自动驾驶中占用流场预测的多模态分层 Transformer

    本文提出了一种新颖的多模态分层 transformer 网络，通过融合被向量化的（流动代理）和视觉场景（流场、地图和占用）模式，以及交通代理之间的社会交互和占用和流之间的关系，来共同预测场景的流和占用，证明了该方法在 Waymo 开放运动数据集上的有效性。

    Jul, 2022

  • AdaOcc：自适应前向视图变换与流模型用于 3D 占据与流预测

    通过采用自适应前视转换和流建模的双阶段框架，我们提出了一种创新的方法，以增强 3D 占用和流的预测能力。我们首先独立训练占用模型，然后使用连续帧集成进行流预测。我们的方法将回归与分类相结合，以解决不同场景中的尺度变化，并利用预测的流将当前体素特征扭曲到未来帧，由未来帧的真值引导。在 nuScenes 数据集上的实验结果表明，我们的方法在准确性和鲁棒性方面取得了显著的改进，展示了我们方法在真实环境下的有效性。基于 Swin-Base 的单一模型在公共排行榜上排名第二，验证了我们方法在推进自动驾驶车辆感知系统方面的潜力。

    Jul, 2024

  • OFMPNet: 城市环境中的占用和流量预测的深度端到端模型

    通过引入一种名为 OFMPNet 的深度编码器 - 解码器模型，利用占据图和场景的运动流来预测环境中所有动态对象的未来行为，并提出了一种新颖的时间加权运动流损失，进一步降低终点误差。该方法在 Waymo Occupancy and Flow Prediction 基准测试中取得了最先进的结果，Flow-Grounded Occupancy 的软 IoU 为 52.1％，AUC 为 76.75％。

    Apr, 2024

  • CVPR 2023 3D 占据预测挑战赛 4th Place 多尺度 Occ 解决方案

    本报告介绍了通过采用 Multi-Scale Occ 方法进行 3D 占用预测的方式，在 CVPR 2023 挑战赛中获得了第四名，并通过模型混合、测试时增强和类别敏感的阈值进一步提高了最终性能。

    Jun, 2023

  • 自动驾驶中的运动预测占据流场

    提出了 Occupancy Flow Fields，这是一种新的用于自动驾驶的运动预测表示方法。该方法使用深度学习架构生成 Occupancy Flow Fields，并引入了一个新的流跟踪损失来建立占用和流动预测之间的一致性，其可在占用预测、运动估计和代理重构等三个指标上证明其有效性。新方法成功地缓解了现有的两种常用运动预测表示方法轨迹集和占用格之间的局限性。此外，该文章提出了一个新问题，即如何预测具有推测性的代理并在大规模自动驾驶数据集和公共 INTERACTION 数据集上展示了优于现有技术的结果。

    Mar, 2022

  • 自动驾驶中的感知与预测的隐性空间流场

    自动驾驶车辆的感知和未来预测需要用一个神经网络隐式地表示一定时间内的占用情况和流动性，以及通过使用有效的全局注意机制来克服先前显式占用预测方法的有限接受域的问题。

    Aug, 2023

  • OccFlowNet: 基于可微分渲染和占据流的自监督占据估计

    通过利用 2D 标签，我们提出了一种基于神经辐射场（NeRF）的新方法来估计体素占据，结合时间渲染和占据流，进一步推进了体素占据预测，并且在该领域中取得了最先进的性能。

    Feb, 2024

  • VectorFlow：结合图像和向量进行交通占用和流量预测

    本文提出了一种新的占据流场预测算法，该算法将图像编码器和向量编码器的特征进行融合以生成更准确的占据和流量预测，该算法在 Waymo Open Dataset Occupancy and Flow Prediction Challenge 中排名第三，在遮挡情况下具有最佳的占据和流量预测表现。

    Aug, 2022

  • UniOcc: 基于几何和语义渲染的视觉中心化三维占据预测统一

    本技术报告介绍了 UniOCC 解决方案，它采用空间几何约束和体积光线渲染来提高 3D 占用预测性能，从而在 CVPR2023 的 nuScenes Open Dataset Challenge 中获得了 51.27％的 mIoU，在 3D 占用注释成本方面具有很大的潜力。

    Jun, 2023