Rope3D:自主驾驶与单目三维物体检测任务的路边感知数据集
在 RoScenes 中介绍了最大的多视角路边感知数据集,旨在为更具挑战性的交通场景的视觉中心 Bird's Eye View (BEV) 方法的发展提供参考。RoScenes 的亮点包括显着大的感知区域、完整的场景覆盖和拥挤的交通。通过 BEV-to-3D 联合注释流水线,我们以高效的方式收集了大量数据,达到了令人惊讶的 2113 万个 3D 注释。此外,我们还针对 RoScenes 上当前的 BEV 方法进行了全面的研究,考察了效果和效率。在大范围感知区域和场景间传感器布局变化的情况下,现有方法的性能未达到预期。因此,我们提出了 RoBEV,其结合了特征引导的位置嵌入,以实现有效的 2D-3D 特征分配。在验证集上,我们的方法在不增加额外计算负担的情况下,大幅领先于最先进方法。我们的数据集和开发工具包将在 https://github.com/xiaosu-zhu/RoScenes 上提供。
May, 2024
该研究论文提出了一种名为 SGV3D 的创新道路边缘 3D 物体检测方案,通过背景抑制模块(BSM)减少视觉中心流程中的背景过拟合问题,并利用半监督数据生成流程(SSDG)利用新场景中的未标记图像生成具有不同摄像机姿态的多样化实例前景,从而提高了在新场景中的检测准确性。
Jan, 2024
道路边缘感知越来越受到重视,通过道路合作感知可以实现对交通区域的全面了解;然而,现有的道路边缘感知方法只关注单一基础设施传感器系统,无法覆盖交通区域的全面感知,因此需要道路合作感知来实现对受限交通区域的实际感知。本研究提供了第一个真实世界的大规模道路合作感知数据集,包括检测和跟踪,证明了道路合作感知的有效性,并展示了进一步研究的方向。
Mar, 2024
本文介绍了一份新的挑战性 A*3D 数据集,以满足自动驾驶研究任务在高度多样化的环境中的需求,并采用基于 RGB 图像和 LiDAR 数据的丰富多样的场景、时间和天气情况,其中包括重度遮挡和大量的夜间框架,共包含 39K 帧、7 个类别和 230K 个 3D 对象注释。对 A*3D 数据集进行广泛的 3D 对象检测基准评估,对高密度、白天 / 黑夜等各种属性给出了有趣的见解。
Sep, 2019
本文提出了一种新方法来解决道路感知系统中数据不足的问题,即使用增强现实和生成对抗网络来创建合成训练数据集,从而训练鲁棒性较高、适应性更强的道路感知检测器。在两个路口的实验中,我们的实验表明,使用合成数据仅仅作为训练集的检测器可以在所有条件下获得良好的性能,并且在恶劣的条件下,使用标记数据训练的已有检测器的性能可以通过合成数据得到提升。
Jun, 2023
本文介绍了一种新的基础设施传感器的多模 3D 物体检测器 InfraDet3D,有效结合了两个 LiDAR 和单目相机数据,通过早期融合方法提高检测效果,并将 HD 地图应用于单目 3D 检测模块,以提升其最终的感知结果;该系统在德国慕尼黑的 A9 测试区域进行了实际部署和评估,得到了 68.48 的 mAP 测试结果,同时数据集和代码也提供给研究社区进行进一步的研究。
Apr, 2023
合作感知技术对提升自主车辆能力和道路安全具有多方面的好处,使用路侧传感器以及车载传感器可以提高可靠性和扩展传感器范围。我们提出了一种合作多模态融合模型 CoopDet3D 和感知数据集 TUMTraf-V2X,用于合作式三维物体检测和跟踪任务。通过多次实验,我们证明了相对于车载摄像头 - LiDAR 融合模型,我们的 CoopDet3D 摄像头 - LiDAR 融合模型在三维 mAP 上实现了 + 14.36 的提高。最后,我们将我们的数据集、模型、标注工具和开发套件公开发布在我们的网站上。
Mar, 2024
该研究提出一种基于单目 RGB 图像的三维车辆检测方法,为此创建了 Cityscapes 3D 数据集,包含了所有类型车辆的三维标注信息,使得与基于 lidar 的方法相比具有更高效率和更大范围的标注信息。此外,研究将 2D 实例分割与 3D 包围盒成对提供,以便多任务学习。这对自动驾驶技术有着很重要的意义。
Jun, 2020
智能交通系统革新了现代道路基础设施,车辆检测、车辆姿态估计、关键点检测以及 SKoPe3D 数据集的应用有望推动智能交通领域的发展。
Sep, 2023
公路场景理解在自动驾驶中至关重要,使机器能够感知视觉环境。本文介绍了 RSUD20K 数据集,它由来自孟加拉国道路的超过 20K 张高分辨率图像组成,包含 13 种物体的 130K 个边界框注释。我们的工作在以往努力的基础上显著改进,提供了详细的注释和更复杂的物体。我们对数据集进行了全面的研究,对各种最先进的目标检测器进行了基准测试,并探索了大型视觉模型作为图像注释器。
Jan, 2024