M-BEV:面罩 BEV 感知用于稳健自动驾驶
通过设计评估鲁棒性的 RoboBEV 基准套件,我们评估了包括检测、地图分割、深度估计和占用预测在内的 33 种 BEV 感知模型的性能,并观察到在分布内数据表现良好的模型对分布外挑战具有鲁棒性,同时也强调了预训练和无深度 BEV 变换等策略在提高对分布外数据鲁棒性方面的有效性。
May, 2024
本文提出了一个称为 M2BEV 的统一框架,它可以通过多摄像头图像输入在 Birds Eye View(BEV)空间中联合执行三维物体检测和地图分割,是一个高效的方法。实验结果表明,M2BEV 在 3D 对象检测和 BEV 分割方面的性能优于现有技术。
Apr, 2022
本文综述了关于 Bird's-eye-view(BEV)感知的最新研究工作,探讨了多传感器融合、BEV 视角下物体检测与定位等关键问题,并介绍了一系列实用的指南和工具来提高 BEV 任务的性能,最后指出了该领域未来的研究方向。
Sep, 2022
使用 RoboBEV 基准套件从多个角度评估不同 Bird's eye view 模型的鲁棒性,发现模型在内分布数据集上的表现与在分布外数据集上的性能存在强烈的相关性,但也存在不同方法相对性能差异较大的问题。同时,预训练和无深度 BEV 转换具有增强分布外鲁棒性的潜力,使用富含时间信息的数据也可以大大提高模型的鲁棒性。
Apr, 2023
通过设计 3D 解码器来利用多视图图像的鸟瞰图(BEV)特征预测 3D 场景的占位情况,为多摄像头智能驾驶提供了一种先进的、可行的和经济高效的解决方案,并取得了显着提升的结果。
May, 2023
本文评估了多种具有代表性的模型在各种情况下的自然和对抗鲁棒性,以全面了解它们如何受到包含和不包含 Bird's-Eye-View 特征的影响,重点关注自主驾驶安全问题,发现了一些警示性的结论。
Mar, 2023
本文提出了一种用于自动驾驶的联邦变压器学习方法 FedBEVT,其使用多视角相机数据来学习模型,并解决了数据异构问题,如多传感器姿态和感知系统中不同的传感器数量。在实际场景中的性能优于基线方案,展示了该方法在提高鸟瞰图感知中的潜力。
Apr, 2023
本研究提出了两种简单而有效的模型(RoadBEV-mono 和 RoadBEV-stereo),分别使用单目和立体图像估计道路高程,在 Bird's-Eye-View 感知中实现对道路的可靠和准确重建。经实验证明,RoadBEV-mono 和 RoadBEV-stereo 的高程误差分别为 1.83cm 和 0.56cm,在单目图像的基础上,估计性能提高了 50%,这些模型在自动驾驶中具有实际应用的潜力,并为基于视觉的 Bird's-Eye-View 感知提供了有价值的参考。
Apr, 2024
自动驾驶车辆需要神经网络在感知方面能够适应不同的视角,以便在多种类型的车辆中使用而无需重复地进行数据收集和标注。本研究通过大量实验发现,现有的感知模型对于摄像机视角的变化非常敏感,因此提出了一种方法来在车辆类型之间进行缩放,从而避免了额外的数据收集和标注成本,并通过引入新颖的视图合成技术,训练适用于各种车辆类型的鸟瞰图分割模型。
Sep, 2023
该研究提出了一种无监督学习方法,从单眼正视图像生成语义鸟瞰地图,以在自动驾驶的各种决策任务中提供强大的遮挡推理能力,其使用了 1% 的标注数据和无额外标记数据,在 KITTI-360 和 nuScenes 数据集上表现与现有最先进的方法相当。
May, 2024