May, 2024

RadarOcc：具备 4D 成像雷达的鲁棒三维占用预测

PDF
TL;DR3D 基于占据的感知管道通过捕捉详细的场景描述并且展现出在各种对象类别和形状上的强泛化能力，显著推进了自动驾驶。为了提高感知的稳健性，我们利用车载雷达的最新进展，引入一种利用 4D 成像雷达传感器进行 3D 占据预测的新方法 RadarOcc。该方法通过直接处理 4D 雷达张量而绕过了稀疏雷达点云的限制，从而保留了关键场景细节。雷达的 4D 数据的体量庞大且具有噪声，RadarOcc 通过采用多普勒频率描述符、侧瓣感知空间稀疏化和范围自注意机制，创新地解决了相关挑战。为了最小化与直接坐标转换相关的插值误差，我们还设计了基于球面的特征编码，随后进行球面到笛卡尔特征聚合。我们在公开的 K-Radar 数据集上使用不同模态的各种基准方法进行基准测试，结果表明 RadarOcc 在基于雷达的 3D 占据预测方面具有最先进的性能，即使与基于 LiDAR 或摄像头的方法相比，结果仍然令人满意。此外，我们还提供了 4D 雷达在恶劣天气条件下卓越性能的定性证据，并通过消融研究探讨了关键管道组件的影响。
3d occupancy-based perceptionautonomous drivingautomotive radarsradaroccadverse weather conditions
发现论文，激发创造
  • LXL：激光雷达独占的 3D 物体检测，结合 4D 成像雷达和相机融合

    该论文探讨了基于 4D 成像雷达和摄像头的图像视图转换策略并提出一种 “雷达占用格辅助深度采样” 的方法，该方法在 VoD 和 TJ4DRadSet 数据集上的实验结果均表现出较高水平的 3D 物体检测性能。

    Jul, 2023

  • 基于 LiDAR 的 4D 占位完成和预测

    本文通过介绍新颖的无人驾驶 LiDAR 感知任务 OCF，将场景完整和预测问题统一为一个相互关联的框架，解决了稀疏到稠密重建、局部到完整幻觉和 3D 到 4D 预测等三个挑战，并分析了现有模型在 OCFBench 数据集上的表现，为进一步深入研究这一关键的四维感知领域提供了启发。

    Oct, 2023

  • 自主驾驶中基于视觉的三维占用预测：综述与展望

    自动驾驶领域的一项新兴感知任务是基于视觉的 3D 占用状态预测，该论文对其背景、挑战、研究进展和未来展望进行了综述，并提供了与该主题相关的论文、数据集和代码的收集。

    May, 2024

  • Cam4DOcc：自动驾驶应用中基于摄像头的 4D 空间占用预测的基准测试

    为了实现自动驾驶应用中的安全可靠的下游任务执行，我们提出了 Cam4DOcc，一个基于仅相机图像的 4D 占据预测的基准。通过评估近期未来的周围场景变化，我们将基准建立在多个公开可得的数据集之上，并提供多样的基于相机的感知与预测实现方案，以及评估协议，用于在自动驾驶场景中与感兴趣对象相关的现在和未来占据估计的性能比较。

    Nov, 2023

  • RadOcc：通过渲染辅助蒸馏学习跨模态占位知识

    探索 3D 场景的占据状态和语义的三维占据预测任务中，通过利用更强大的多模态模型在训练时指导视觉模型，提出了渲染辅助蒸馏的范例 RadOcc，其中利用可微的体积渲染在透视视图中生成深度和语义图，并提出了两个新的一致性标准，即深度一致性损失和语义一致性损失，实验证明该方法在提高各种 3D 占据预测方法方面的有效性。

    Dec, 2023

  • K-Radar：各种天气条件下自动驾驶 4D 雷达物体检测

    本文介绍了 KAIST-Radar 数据集，该数据集包含 4D Radar tensor 数据，并提供了附加的 Lidar、立体相机和 RTK-GPS 测量，用于提高雷达物体检测的准确性，该数据集包含逆境天气下的各类道路，提供了相关基准测试和神经网络，并证明了 4D Radar 更适合逆境天气条件下的物体检测。

    Jun, 2022

  • 4D 雷达点云的运动物体检测与追踪

    移动自主性依赖于对动态环境的精确感知。因此，鲁棒地跟踪三维世界中的移动物体对于轨迹预测、避障和路径规划等应用至关重要。尽管大多数当前方法利用激光雷达或摄像头进行多目标跟踪 (MOT)，但四维成像雷达的能力仍然很少被探索。针对四维雷达数据中的雷达噪声和点稀疏性带来的挑战，我们介绍了一种针对基于雷达的跟踪的创新解决方案 RaTrack。我们的方法摒弃了对特定物体类型和三维边界框的依赖，而是专注于运动分割和聚类，并且通过运动估计模块进一步丰富。在 View-of-Delft 数据集上进行评估，RaTrack 展示了对移动物体的优越跟踪精度，明显超过了最新研究的性能。

    Sep, 2023

  • OccFusion: 无深度估计的多传感器融合用于 3D 占据预测

    基于多传感器融合的 3D 占用预测方法 OccFusion，使用无需深度估计的多模态融合以及相应的点云采样算法，通过主动训练方法和主动粗到细流程，提高了复杂场景中预测的准确性和鲁棒性，有效优化了计算资源需求。在开放占用评测中，该方法超过了现有基于多模态的最先进方法，并且训练和推理阶段更加高效。细致的消融研究证明了我们提出的技术的有效性。

    Mar, 2024

  • SelfOcc: 自监督视觉 3D 占据预测

    本文提出了一种自监督学习方法 SelfOcc，使用视频序列仅学习 3D 占用情况，通过将图像转换为 3D 空间来得到 3D 场景表示，并利用自监督信号优化这些表示。SelfOcc 在 SemanticKITTI 和 Occ3D 上使用单帧输入相比之前最佳方法 SceneRF 提高 58.7％，并且是首个在 Occ3D 上为周围摄像头产生合理的 3D 占用情况的自监督工作。SelfOcc 在 SemanticKITTI、KITTI-2015 和 nuScenes 上达到了最先进的结果，分别在新颖深度合成、单目深度估计和环视深度估计方面实现了高质量的深度。

    Nov, 2023

  • Occ3D：面向自动驾驶的大规模三维占据预测基准

    本研究提出了一种新的 3D 占据预测任务，旨在从多视图图像中估计对象的详细占据和语义信息，并介绍了 Coarse-to-Fine Occupancy (CTF-Occ) 网络模型，该模型在 3D 占据预测任务中表现出优越的性能。

    Apr, 2023