CVPRJul, 2024

AdaOcc：自适应前向视图变换与流模型用于 3D 占据与流预测

PDF
TL;DR通过采用自适应前视转换和流建模的双阶段框架，我们提出了一种创新的方法，以增强 3D 占用和流的预测能力。我们首先独立训练占用模型，然后使用连续帧集成进行流预测。我们的方法将回归与分类相结合，以解决不同场景中的尺度变化，并利用预测的流将当前体素特征扭曲到未来帧，由未来帧的真值引导。在 nuScenes 数据集上的实验结果表明，我们的方法在准确性和鲁棒性方面取得了显著的改进，展示了我们方法在真实环境下的有效性。基于 Swin-Base 的单一模型在公共排行榜上排名第二，验证了我们方法在推进自动驾驶车辆感知系统方面的潜力。
vision-centric 3d occupancy and flow predictionnuscenes open-occ dataset challengedual-stage frameworkadaptive forward view transformationflow modeling
发现论文，激发创造
  • 基于前后向视点变换的三维占据预测

    本文简述了在 3D 占用预测挑战中获胜的解决方案，该方案基于 FB-BEV，并在其基础上进一步研究了针对 3D 占用预测任务的新设计和优化。最终结果表明，该方案在 nuScenes 数据集上获得了最先进的 mIoU 得分，排名挑战榜的第一位。

    Jul, 2023

  • Occ3D：面向自动驾驶的大规模三维占据预测基准

    本研究提出了一种新的 3D 占据预测任务，旨在从多视图图像中估计对象的详细占据和语义信息，并介绍了 Coarse-to-Fine Occupancy (CTF-Occ) 网络模型，该模型在 3D 占据预测任务中表现出优越的性能。

    Apr, 2023

  • FastOcc: 通过融合二维俯视图和透视视图加速三维占据预测

    在自动驾驶中，通过分析网络效应和延迟，本文提出了一种名为 FastOcc 的新方法，通过用轻量级的 2D BEV 卷积网络代替时间消耗较大的 3D 卷积网络，加快模型的推理速度，同时保持准确性，从而实现了优越的性能。

    Mar, 2024

  • OccFusion: 一个简单有效的多传感器融合框架用于 3D 占用预测

    该研究论文介绍了 OccFusion，一种直观高效的传感器融合框架，可用于预测三维占据情况。通过整合来自其他传感器（如激光雷达和环绕视图雷达）的特征，该框架提高了占据情况预测的准确性和稳健性，在 nuScenes 基准测试中取得了顶尖性能。

    Mar, 2024

  • ViewFormer：基于视图引导的 Transformer 模型探索多视角 3D 占位感知的时空建模

    基于 3D 占据率、多视图特征聚合和动态场景的研究，我们提出了 ViewFormer，一个基于 Transformer 的视觉中心框架，具有高度的可扩展性和优越性能。

    May, 2024

  • 场景作为占用

    通过提出一种新的 3D Occupancy 表示法 (OccNet)，并在 nuScenes 数据集上建立了 OpenOcc，我们方法能够有效地为多个驾驶任务提供有力的支持，并取得了显著的性能收益，例如运动规划可以实现 15％-58％的碰撞率降低。

    Jun, 2023

  • UniOcc: 基于几何和语义渲染的视觉中心化三维占据预测统一

    本技术报告介绍了 UniOCC 解决方案，它采用空间几何约束和体积光线渲染来提高 3D 占用预测性能，从而在 CVPR2023 的 nuScenes Open Dataset Challenge 中获得了 51.27％的 mIoU，在 3D 占用注释成本方面具有很大的潜力。

    Jun, 2023

  • OccFusion: 无深度估计的多传感器融合用于 3D 占据预测

    基于多传感器融合的 3D 占用预测方法 OccFusion，使用无需深度估计的多模态融合以及相应的点云采样算法，通过主动训练方法和主动粗到细流程，提高了复杂场景中预测的准确性和鲁棒性，有效优化了计算资源需求。在开放占用评测中，该方法超过了现有基于多模态的最先进方法，并且训练和推理阶段更加高效。细致的消融研究证明了我们提出的技术的有效性。

    Mar, 2024

  • 自动驾驶中的感知与预测的隐性空间流场

    自动驾驶车辆的感知和未来预测需要用一个神经网络隐式地表示一定时间内的占用情况和流动性，以及通过使用有效的全局注意机制来克服先前显式占用预测方法的有限接受域的问题。

    Aug, 2023

  • STrajNet：用于自动驾驶中占用流场预测的多模态分层 Transformer

    本文提出了一种新颖的多模态分层 transformer 网络，通过融合被向量化的（流动代理）和视觉场景（流场、地图和占用）模式，以及交通代理之间的社会交互和占用和流之间的关系，来共同预测场景的流和占用，证明了该方法在 Waymo 开放运动数据集上的有效性。

    Jul, 2022