May, 2023

单目三维物体检测中的占据学习

PDF
TL;DR本文提出了一种基于 OccupancyM3D 的单眼 3D 检测方法，通过利用同步的稀疏 LiDAR 点云，直接在截锥体和 3D 空间中学习占用情况，从而生成具有更强区分性和信息性的 3D 特征和表示，并通过占用预测来增强原始的截锥体 / 3D 特征，经 KITTI 和 Waymo 数据集实验结果表明，该方法达到了新的最佳表现，并远远超过了其他方法。
monocular 3d detectiongeometry constraintsoccupancym3dlidaroccupancy prediction
发现论文，激发创造
  • SelfOcc: 自监督视觉 3D 占据预测

    本文提出了一种自监督学习方法 SelfOcc，使用视频序列仅学习 3D 占用情况，通过将图像转换为 3D 空间来得到 3D 场景表示，并利用自监督信号优化这些表示。SelfOcc 在 SemanticKITTI 和 Occ3D 上使用单帧输入相比之前最佳方法 SceneRF 提高 58.7％，并且是首个在 Occ3D 上为周围摄像头产生合理的 3D 占用情况的自监督工作。SelfOcc 在 SemanticKITTI、KITTI-2015 和 nuScenes 上达到了最先进的结果，分别在新颖深度合成、单目深度估计和环视深度估计方面实现了高质量的深度。

    Nov, 2023

  • ODM3D：缓解前景稀疏性以提升半监督单目三维物体检测

    通过半监督学习，利用大量未标记的数据，我们提出了 ODM3D 框架，通过跨模态知识蒸馏和新增的数据增强策略来提高单眼 3D 物体检测器的性能，取得了在 KITTI 验证和测试基准上的第一名成绩，显著超过所有现有的单眼方法（监督或半监督）在 BEV 和 3D 检测指标上。

    Oct, 2023

  • OCM3D：基于物体的单目三维物体检测

    本文提出了一种适用于单目三维目标检测的新型基于物体的体素表示法，能够有效地组织噪点云在体素网格内，并能够精确定位对象在三维空间中的位置。通过考虑三维物体与相关二维框之间的关系，我们将单目三维目标检测中的置信度机制进行了分解，并在 KITTI 数据集上进行了评估，性能显著优于现有技术。

    Apr, 2021

  • Occ3D：面向自动驾驶的大规模三维占据预测基准

    本研究提出了一种新的 3D 占据预测任务，旨在从多视图图像中估计对象的详细占据和语义信息，并介绍了 Coarse-to-Fine Occupancy (CTF-Occ) 网络模型，该模型在 3D 占据预测任务中表现出优越的性能。

    Apr, 2023

  • 自主驾驶中基于视觉的三维占用预测：综述与展望

    自动驾驶领域的一项新兴感知任务是基于视觉的 3D 占用状态预测，该论文对其背景、挑战、研究进展和未来展望进行了综述，并提供了与该主题相关的论文、数据集和代码的收集。

    May, 2024

  • MonoOcc: 单目语义占据预测深入研究

    提出了一种名为 MonoOcc 的方法，通过在框架的浅层引入辅助语义损失作为监督和利用图像条件下的交叉注意力模块来改进单目占据预测框架，并利用较低的硬件成本将时间信息和更丰富的知识从更大的图像主干传输到单目语义占据预测框架，从而取得了基于相机的 SemanticKITTI 场景完成基准测试中的最佳性能。

    Mar, 2024

  • 单视图弱监督单目 3D 检测

    利用深度信息，无需任何三维标注或其他训练数据，SKD-WM3D 提出了一种弱监督的单目三维检测框架，通过融合深度信息将图像特征转化为三维表示，有效地消除了单目场景中的深度歧义。实验证明，SKD-WM3D 明显超过了最先进的方法，甚至与许多全监督方法相媲美。

    Feb, 2024

  • 场景作为占用

    通过提出一种新的 3D Occupancy 表示法 (OccNet)，并在 nuScenes 数据集上建立了 OpenOcc，我们方法能够有效地为多个驾驶任务提供有力的支持，并取得了显著的性能收益，例如运动规划可以实现 15％-58％的碰撞率降低。

    Jun, 2023

  • 占用 DETR: 让语义场景补全像目标检测一样简单

    我们提出了一种新的 3D 语义占有率感知方法 OccupancyDETR，它包括一个类 DETR 的目标检测模块和一个 3D 占有率解码器模块，通过集成目标检测简化了我们的方法结构，提高了速度和性能，在 SemanticKITTI 数据集上展示了在实时 3D 语义场景完成方面的有效性。

    Sep, 2023

  • WeakM3D：面向弱监督的单目三维物体检测

    本文介绍了一种采用弱监督学习的单目三维目标检测方法，该方法利用生成的二维框选择对应的区域兴趣 LiDAR 点作为弱监督信号，并通过网络预测可以紧密对齐相应区域兴趣 LiDAR 点的三维框，从而消除了对三维框标注的依赖。

    Mar, 2022